[论文解读] Co-GAIL: Learning Diverse Strategies for Human-Robot Collaboration

Chen Wang, Claudia Pérez-D’Arpino+4 more|arXiv (Cornell University)|Aug 13, 2021

Reinforcement Learning in Robotics参考文献 48被引用 6

一句话总结

Co-GAIL 提出了一种协同优化框架，通过人类-人类协作演示联合学习人类与机器人策略，利用解耦的潜在策略空间来建模多样的人类行为。该方法在模拟环境和真实人机协作评估中，在2D协作、交接任务和序列操作任务中均优于最先进方法，实现了对多样化人类策略的稳健适应。

ABSTRACT

We present a method for learning a human-robot collaboration policy from human-human collaboration demonstrations. An effective robot assistant must learn to handle diverse human behaviors shown in the demonstrations and be robust when the humans adjust their strategies during online task execution. Our method co-optimizes a human policy and a robot policy in an interactive learning process: the human policy learns to generate diverse and plausible collaborative behaviors from demonstrations while the robot policy learns to assist by estimating the unobserved latent strategy of its human collaborator. Across a 2D strategy game, a human-robot handover task, and a multi-step collaborative manipulation task, our method outperforms the alternatives in both simulated evaluations and when executing the tasks with a real human operator in-the-loop. Supplementary materials and videos at https://sites.google.com/view/co-gail-web/home

研究动机与目标

• 开发一种能够适应人类-人类演示中观察到的多样化人机协作策略的机器人策略。
• 解决先前方法将人类视为静态环境组件的局限性，这些方法在训练期间无法建模相互适应的行为。
• 使机器人能够推断并预测未观察到的人类潜在策略，以实现实时有效协作。
• 通过从演示中学习解耦的、可解释的策略表征，提升人机协作中的泛化能力与鲁棒性。
• 在真实人机协作场景中展示成功应用，证明其在复杂操作任务中对多样化人类行为的适应能力。

提出的方法

• 通过交互式学习过程协同优化人类策略与机器人策略，使两者在训练期间同时演化。
• 引入潜在策略表征，以解耦并建模来自人类演示的多样化协作行为。
• 在推理阶段使用策略识别网络 ψ 推断协作人类的潜在策略代码，从而实现对未来动作的预测。
• 在潜在空间中引入多样性目标（公式3），以鼓励覆盖全部演示策略范围，防止过拟合。
• 使用对抗性模仿学习（GAIL）训练机器人策略，其中判别器用于区分专家人类-机器人轨迹与生成轨迹。
• 仅使用人类-人类演示数据作为监督信号，避免使用人工设计的奖励函数。

实验结果

研究问题

• RQ1 能否训练出一种机器人策略，使其在人类-人类演示中观察到的多样化人类协作策略上实现泛化？
• RQ2 在训练期间协同优化人类与机器人策略，是否相比将人类视为静态环境，能带来更好的适应性与鲁棒性？
• RQ3 解耦的潜在策略空间是否能有效表征并泛化于复杂任务中的不同人类协作行为？
• RQ4 与先前的模仿学习基线相比，该方法在真实人机协作设置中的表现如何？
• RQ5 在插值与零样本适应过程中，该方法对未见人类策略的泛化程度如何？

主要发现

• 在2D-Fetch-Quest任务中，Co-GAIL在所有用户中均达到100%成功率，显著优于MA-InfoGAIL（平均85%）和MA-GAIL（65%）。
• 在HR-Handover任务中，Co-GAIL在用户间实现75%成功率，优于BC-single（20%）、MA-GAIL（35%）和MA-InfoGAIL（65%）。
• 在HR-SeqManip任务中，Co-GAIL在用户间实现60%成功率，优于BC-single（10%）、MA-GAIL（25%）和MA-InfoGAIL（35%）的平均表现。
• 潜在空间可视化显示，Co-GAIL在区分不同人类策略（如左侧/中间/右侧交接区域）方面优于MA-GAIL和MA-InfoGAIL。
• 在插值任务中，Co-GAIL展现出更广的演示分布覆盖范围，且过拟合程度低于MA-GAIL、MA-InfoGAIL和DIAYN。
• 真实人类评估证实，Co-GAIL在适应多样化人类行为方面表现更优，用户与实验间表现一致，首次在复杂连续运动任务中成功展示了此类适应能力。