[论文解读] Assistive Tele-op: Leveraging Transformers to Collect Robotic Task Demonstrations

Henry Clever, Ankur Handa+8 more|arXiv (Cornell University)|Dec 9, 2021

Social Robot Interaction and HRI被引用 8

一句话总结

该论文提出了一种基于VR的辅助遥操作（Assistive Tele-op）系统，利用微调后的Transformer模型实时预测机器人轨迹，使人类操作员能够以5倍减少的手动控制时间收集高成功率的机器人任务示范。通过仅在模型预测动作不当时进行干预，该系统在7项多样化操作任务中实现了96.1%的成功率。

ABSTRACT

Sharing autonomy between robots and human operators could facilitate data collection of robotic task demonstrations to continuously improve learned models. Yet, the means to communicate intent and reason about the future are disparate between humans and robots. We present Assistive Tele-op, a virtual reality (VR) system for collecting robot task demonstrations that displays an autonomous trajectory forecast to communicate the robot's intent. As the robot moves, the user can switch between autonomous and manual control when desired. This allows users to collect task demonstrations with both a high success rate and with greater ease than manual teleoperation systems. Our system is powered by transformers, which can provide a window of potential states and actions far into the future -- with almost no added computation time. A key insight is that human intent can be injected at any location within the transformer sequence if the user decides that the model-predicted actions are inappropriate. At every time step, the user can (1) do nothing and allow autonomous operation to continue while observing the robot's future plan sequence, or (2) take over and momentarily prescribe a different set of actions to nudge the model back on track. We host the videos and other supplementary material at https://sites.google.com/view/assistive-teleop.

研究动机与目标

• 减少大规模收集高质量机器人任务示范所需的人力与时间。
• 解决遥操作过程中人类意图与机器人行为之间沟通不畅的挑战。
• 通过预训练的Transformer模型实现在多样化操作任务上的高效少样本泛化。
• 通过在VR界面中集成实时轨迹预测与人工监督，提升数据收集效率。
• 通过允许人工干预纠正模型预测，促进持续学习并提升未来性能。

提出的方法

• 利用带有自注意力机制的Transformer模型处理过去状态与动作序列，实现长时程轨迹预测。
• 采用末端执行器空间表示法对状态和动作进行嵌入，实现不同机器人与模拟器之间的迁移。
• 基于末端执行器累计行进的欧几里得距离，引入位置嵌入以编码时间位置。
• 在输入序列中采用BERT风格的零填充，实现无需额外计算的任意长度未来动作预测。
• 在场景中的物体位姿状态上引入辅助损失，以提升预测精度与鲁棒性。
• 将模型集成至VR遥操作界面中，使用户能够观察机器人预测的未来动作，并仅在必要时进行干预。

实验结果

研究问题

• RQ1 预训练的Transformer是否可被有效微调，以实现对新机器人操作任务的少样本泛化？
• RQ2 通过Transformer实现实时轨迹预测，是否能提升人机示范收集的效率与成功率？
• RQ3 在VR中实时运行模型预测是否能减少手动遥操作时间，同时保持高任务成功率？
• RQ4 人工干预在纠正模型预测轨迹方面，对整体性能的提升效果如何？
• RQ5 对物体位姿的辅助监督在多大程度上能增强策略泛化能力，并提升精密任务中的成功率？

主要发现

• 与完全手动遥操作相比，该辅助遥操作系统将每次示范的手动控制时间减少了5倍，平均每次任务的干预时间仅为5.5秒。
• 在人工干预下，系统在7项多样化操作任务中实现了96.1%的成功率，相较于完全自主模式下的67.1%显著提升。
• 预训练并微调的Transformer在所有任务中均优于从零开始训练的模型，展现出强大的少样本泛化能力。
• 在预训练模型上引入物体位姿状态的辅助损失，将螺母装配任务的成功率从58%提升至70%。
• 该模型在sim2sim迁移中表现良好，即使在Baxter（MuJoCo）与Franka（Omniverse）之间存在机器人运动学与模拟物理差异的情况下，仍能有效泛化。
• 该系统在高精度任务（如将六边形块插入槽中）中表现不佳，成功率仅为10%，主要由于抓取失败以及在有限示范下出现的分布外泛化问题。