[论文解读] Error-Aware Imitation Learning from Teleoperation Data for Mobile Manipulation

Josiah Wong, Albert Tung+5 more|arXiv (Cornell University)|Dec 9, 2021

Robot Manipulation and Learning被引用 5

一句话总结

本文提出 MoMaRT，一种新型遥操作（teleoperation）系统，用于在移动操作中收集高质量的人类示范数据，并引入一种误差感知的模仿学习框架，结合视觉-运动策略与学习到的误差检测器，以检测分布外（out-of-distribution）状态。该方法在模拟厨房环境中基于一个新构建的1200次示范数据集进行训练，跨多阶段任务实现了超过45%的任务成功率和85%的误差检测准确率。

ABSTRACT

In mobile manipulation (MM), robots can both navigate within and interact with their environment and are thus able to complete many more tasks than robots only capable of navigation or manipulation. In this work, we explore how to apply imitation learning (IL) to learn continuous visuo-motor policies for MM tasks. Much prior work has shown that IL can train visuo-motor policies for either manipulation or navigation domains, but few works have applied IL to the MM domain. Doing this is challenging for two reasons: on the data side, current interfaces make collecting high-quality human demonstrations difficult, and on the learning side, policies trained on limited data can suffer from covariate shift when deployed. To address these problems, we first propose Mobile Manipulation RoboTurk (MoMaRT), a novel teleoperation framework allowing simultaneous navigation and manipulation of mobile manipulators, and collect a first-of-its-kind large scale dataset in a realistic simulated kitchen setting. We then propose a learned error detection system to address the covariate shift by detecting when an agent is in a potential failure state. We train performant IL policies and error detectors from this data, and achieve over 45% task success rate and 85% error detection success rate across multiple multi-stage tasks when trained on expert data. Codebase, datasets, visualization, and more available at https://sites.google.com/view/il-for-mm/home.

研究动机与目标

• 解决由于导航与操作复杂结合而导致的移动操作中高质量人类示范数据收集的挑战。
• 通过检测导致策略失败的分布外状态，克服模仿学习中的协变量偏移问题。
• 开发一种可扩展、逼真的遥操作系统，限制操作员仅使用机器人感知的视觉输入，以确保自然且可泛化的示范。
• 训练一个统一框架，结合视觉-运动策略与学习到的误差检测器，以提升部署时的鲁棒性。
• 展示少样本微调和模拟到现实世界迁移的潜力，以实现真实世界部署。

提出的方法

• 提出 MoMaRT，一种基于智能手机的遥操作界面，仅使用机器人机载摄像头实现对导航与操作的实时、同步控制。
• 在 iGibson 中构建的逼真模拟厨房环境中，使用高保真渲染和传感器保真度，收集了超过1200次示范数据，涵盖五个长时程任务的大型连续控制数据集。
• 使用专家示范数据训练基于视觉的模仿学习策略，输入包括RGB-D图像和激光扫描点云。
• 设计一个学习到的误差检测器，利用变分自编码器的重构误差，在推理阶段识别分布外状态。
• 在推理阶段集成误差检测器，当检测到故障状态时中止执行，防止不稳定行为。
• 应用领域随机化和消融研究以评估鲁棒性和泛化能力，包括在分布偏移域上的少样本微调。

实验结果

研究问题

• RQ1 一种仅将人类操作员限制在机器人视觉视角的遥操作系统，能否产生更逼真且可泛化的移动操作示范？
• RQ2 在复杂移动操作任务的策略部署中，基于重构的误差检测在识别分布外状态方面的有效性如何？
• RQ3 从专家数据微调的模仿学习策略，在分布偏移的新领域中，对少量示范场景的泛化能力达到何种程度？
• RQ4 模拟环境与真实世界部署之间的性能差距如何？该方法能否有效迁移到真实机器人上？
• RQ5 结合模仿学习与误差检测的统一框架，能否显著提升长时程移动操作任务中的策略鲁棒性和成功率？

主要发现

• 所提出的 MoMaRT 遥操作系统成功在逼真的模拟厨房环境中收集了超过1200次高质量的连续控制示范。
• 基于专家数据集训练的模仿学习策略在所有五个多阶段任务中均实现了超过45%的任务成功率。
• 学习到的误差检测器在检测故障状态方面实现了超过85%的精确率和召回率，显著优于基于KL散度和对数概率的基线方法。
• 在分布偏移域上进行少样本微调始终优于从零开始训练，成功率最高提升了10.7个百分点（例如，“洗碗机旁的桌面布置”任务中，26.3% vs. 15.6%）。
• 误差检测器的基于重构的方法在各类任务中均表现出强鲁棒性和可调性，而诸如潜在空间或对数概率方法等基线则更易受噪声影响。
• 由于仅使用机载传感器且未引入特权信息，该方法在模拟到真实世界迁移方面展现出强大潜力，但真实世界验证仍有待完成。