[论文解读] Learning Representations that Enable Generalization in Assistive Tasks

Jerry Zhi-Yang He, Aditi Raghunathan+3 more|arXiv (Cornell University)|Dec 5, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 PALM（基于预测的辅助潜在嵌入），一种直接从交互历史中学习人类协作策略解耦潜在表征的框架，以提升辅助机器人中的零样本泛化能力。通过训练潜在空间以预测人类行为，并在测试时利用观测到的行为进行适应，PALM 在分布外（OOD）人类策略上的泛化性能优于当前最先进的模拟到现实（sim2real）和人机交互方法。

ABSTRACT

Recent work in sim2real has successfully enabled robots to act in physical environments by training in simulation with a diverse ''population'' of environments (i.e. domain randomization). In this work, we focus on enabling generalization in assistive tasks: tasks in which the robot is acting to assist a user (e.g. helping someone with motor impairments with bathing or with scratching an itch). Such tasks are particularly interesting relative to prior sim2real successes because the environment now contains a human who is also acting. This complicates the problem because the diversity of human users (instead of merely physical environment parameters) is more difficult to capture in a population, thus increasing the likelihood of encountering out-of-distribution (OOD) human policies at test time. We advocate that generalization to such OOD policies benefits from (1) learning a good latent representation for human policies that test-time humans can accurately be mapped to, and (2) making that representation adaptable with test-time interaction data, instead of relying on it to perfectly capture the space of human policies based on the simulated population only. We study how to best learn such a representation by evaluating on purposefully constructed OOD test policies. We find that sim2real methods that encode environment (or population) parameters and work well in tasks that robots do in isolation, do not work well in assistance. In assistance, it seems crucial to train the representation based on the history of interaction directly, because that is what the robot will have access to at test time. Further, training these representations to then predict human actions not only gives them better structure, but also enables them to be fine-tuned at test-time, when the robot observes the partner act. https://adaptive-caregiver.github.io.

研究动机与目标

• 解决辅助机器人中泛化问题，其中测试时的人类协作伙伴可能相对于训练人群分布为分布外（OOD）的情况。
• 设计一种基于交互历史学习人类策略结构化且可适应潜在空间的框架，而非依赖环境参数或奖励等间接信号。
• 通过使用真实交互数据在测试时微调潜在空间，实现对潜在空间的适应，提升对 OOD 人类行为的鲁棒性。
• 在受控的、聚焦于 OOD 的辅助任务设置中，评估并比较表征学习方法。

提出的方法

• 该框架通过端到端反向传播联合训练机器人策略和潜在嵌入空间，其中潜在空间通过交互历史预测人类行为进行训练。
• 潜在空间通过对比学习目标和 KL 正则化项进行优化，以鼓励获得平滑且可泛化的结构。
• 通过在交互过程中使用观测到的人类行为对潜在空间进行微调，实现测试时的适应，从而实现与新协作伙伴的动态对齐。
• 该方法采用双流架构：一个用于编码人类历史，另一个用于预测下一步动作，潜在码作为共享表征。
• 该框架在两个模拟的辅助任务中进行评估：一个二维抓取环境和一个具有多样化人类策略的二维瘙痒抓挠任务。
• 人类策略被显式构建为 OOD，以实现对泛化性能的受控评估。

实验结果

研究问题

• RQ1 基于交互历史训练的人类策略潜在表征，是否在泛化到 OOD 人类行为方面优于基于环境参数或间接信号（如奖励）的表征？
• RQ2 在训练期间预测人类动作是否能带来比预测状态或奖励更结构化、更具泛化能力的潜在空间？
• RQ3 对学习到的潜在空间进行测试时适应，在未见人类协作伙伴上的性能提升程度如何？
• RQ4 表征学习目标的选择（如动作预测 vs. 奖励预测）如何影响辅助任务中的泛化性能？

主要发现

• 在抓取和瘙痒抓挠任务中，PALM 与动作预测的组合在泛化到 OOD 人类策略方面优于所有基线方法，包括 RMA、RNN、LILI 和 RILI。
• 通过动作预测学习到的潜在空间成功捕捉了人类策略的底层环状结构，而 RMA 和 RILI 由于依赖模糊或非信息性信号，未能保持该结构。
• KL 正则化通过诱导更平滑的潜在分布，提升了泛化能力，使 OOD 人类在潜在空间中的插值更加准确，尤其是在分布缺失区域。
• 测试时适应显著提升了性能，PALM 的潜在空间通过填补分布中的空缺，更好地嵌入了 OOD 人类，如潜在空间可视化所示。
• 预测奖励或状态的基线方法泛化能力较差，因为这些信号无法捕捉人类策略之间的结构关系。
• 即使人类分布变得更加复杂，该方法仍表现出强劲性能，优于 MLP 和 RILI，后两者在分布复杂度增加时性能下降。