[论文解读] Human-in-the-Loop Imitation Learning using Remote Teleoperation

Ajay Mandlekar, Danfei Xu+4 more|arXiv (Cornell University)|Dec 12, 2020

Reinforcement Learning in Robotics参考文献 43被引用 10

一句话总结

本文提出了一种基于远程遥操作的人机协同模仿学习框架，通过在策略执行过程中收集人类干预来改进机器人操作策略。该方法引入了干预加权回归（IWR），利用干预发生的时间来优先学习高风险瓶颈区域，显著优于完整示范基线方法及其他基于干预的方法，在如机器人穿线和咖啡制作等具有挑战性的6-DoF任务上表现优异。

ABSTRACT

Imitation Learning is a promising paradigm for learning complex robot manipulation skills by reproducing behavior from human demonstrations. However, manipulation tasks often contain bottleneck regions that require a sequence of precise actions to make meaningful progress, such as a robot inserting a pod into a coffee machine to make coffee. Trained policies can fail in these regions because small deviations in actions can lead the policy into states not covered by the demonstrations. Intervention-based policy learning is an alternative that can address this issue -- it allows human operators to monitor trained policies and take over control when they encounter failures. In this paper, we build a data collection system tailored to 6-DoF manipulation settings, that enables remote human operators to monitor and intervene on trained policies. We develop a simple and effective algorithm to train the policy iteratively on new data collected by the system that encourages the policy to learn how to traverse bottlenecks through the interventions. We demonstrate that agents trained on data collected by our intervention-based system and algorithm outperform agents trained on an equivalent number of samples collected by non-interventional demonstrators, and further show that our method outperforms multiple state-of-the-art baselines for learning from the human interventions on a challenging robot threading task and a coffee making task. Additional results and videos at https://sites.google.com/stanford.edu/iwr .

研究动机与目标

• 解决模仿学习中的协变量偏移问题，即微小的动作误差会导致高精度操作任务失败。
• 使远程人类操作员能够在策略执行失败时实时监控并进行干预。
• 开发一种有效算法，利用人类干预数据提升策略在瓶颈区域的泛化能力。
• 证明基于干预的数据收集结合迭代微调，优于收集完整人类示范的方法。
• 在多位人类操作员及物理上具有挑战性的高接触力操作任务上验证该方法的有效性。

提出的方法

• 通过远程遥操作系统，使人类操作员能够监控策略执行，并在即将发生失败时接管全部控制权。
• 将人类干预记录为状态-动作对，即操作员在接近失败状态时接管控制，并在成功通过后恢复控制。
• 所提出的干预加权回归（IWR）算法根据干预发生的时间对训练数据进行重加权，使靠近瓶颈入口点的动作获得更高权重。
• IWR将干预信号视为隐式奖励信号，促使策略学习通过高风险区域的安全且成功的轨迹。
• 在聚合的干预数据上迭代微调策略，逐步提升在瓶颈区域的性能。
• 系统支持来自多样化人类操作员的可扩展数据收集，适用于众包学习。

实验结果

研究问题

• RQ1 在6-DoF操作任务中，通过在策略执行期间进行远程人类干预，是否能提升高精度瓶颈区域的性能？
• RQ2 通过加权回归方法（IWR）利用干预数据，是否能优于使用完整示范的标准模仿学习方法？
• RQ3 与单轮数据收集相比，基于人类干预的迭代式数据收集在最终策略成功率方面表现如何？
• RQ4 所提出的方法是否能在不同人类操作员和基础策略之间实现泛化？
• RQ5 当在相同数据集上训练时，IWR是否优于其他基于干预的学习基线方法？

主要发现

• 在机器人穿线任务中，所提方法取得了87.3%的成功率，显著高于完整示范基线（76.7%）及其他基于干预的基线方法（如HG-DAgger和IWR-NB）。
• 在咖啡机任务中，该方法在三位操作员上的平均成功率达到87.5%，优于完整示范基线（64.9%）和HG-DAgger基线（69.6%）。
• 该方法在多位操作员间均表现出一致的性能提升，证明了其在多样化演示者中的鲁棒性与泛化能力。
• 即使在使用其他方法收集的数据集上进行训练，所提出的IWR方法仍能达到接近其自建数据集的性能，表明其具有优越的数据利用能力。
• 多轮迭代式数据收集优于单轮数据收集，尤其在咖啡机任务中，单轮设置下的最终成功率低了7%。
• 结果表明，当通过干预时间智能加权时，干预数据比完整示范数据更有效，尤其是在复杂且高接触力的操作任务中。