[论文解读] Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation

Sridhar Pandian Arunachalam, Sneha Silwal+2 more|arXiv (Cornell University)|Mar 24, 2022

Robot Manipulation and Learning被引用 5

一句话总结

DIME 是一种基于学习的框架，通过仅使用低成本、单个 RGB 相机的遥操作，使未经训练的人类操作员能够实现高效的灵巧操作。通过利用现成的手部姿态估计与姿态重定向技术，该框架收集了高质量的示范数据，从而实现样本高效的模仿学习，在仿真和真实世界环境中均实现了在复杂手部操作任务（如翻转、旋转和翻转物体）中使用 Allegro 机械手的高成功率。

ABSTRACT

Optimizing behaviors for dexterous manipulation has been a longstanding challenge in robotics, with a variety of methods from model-based control to model-free reinforcement learning having been previously explored in literature. Perhaps one of the most powerful techniques to learn complex manipulation strategies is imitation learning. However, collecting and learning from demonstrations in dexterous manipulation is quite challenging. The complex, high-dimensional action-space involved with multi-finger control often leads to poor sample efficiency of learning-based methods. In this work, we propose 'Dexterous Imitation Made Easy' (DIME) a new imitation learning framework for dexterous manipulation. DIME only requires a single RGB camera to observe a human operator and teleoperate our robotic hand. Once demonstrations are collected, DIME employs standard imitation learning methods to train dexterous manipulation policies. On both simulation and real robot benchmarks we demonstrate that DIME can be used to solve complex, in-hand manipulation tasks such as 'flipping', 'spinning', and 'rotating' objects with the Allegro hand. Our framework along with pre-collected demonstrations is publicly available at https://nyu-robot-learning.github.io/dime.

研究动机与目标

• 解决高维机械手灵巧操作策略学习中的样本效率低下问题。
• 通过仅使用单个 RGB 相机，使未经训练的人类操作员能够轻松实现机械手的遥操作，从而降低高质量示范数据收集的门槛。
• 开发一种兼容多种模仿学习范式（包括无模型强化学习与非参数化方法）的框架，支持仿真与真实世界部署。
• 证明仅使用低成本、易获取的示范数据，即可实现高性能的灵巧操作，而无需专用硬件或复杂校准。

提出的方法

• 使用单个 RGB 相机捕捉人类手部运动，并应用现成的手部姿态检测器实时估计指尖位置。
• 通过运动学一致的映射方法，将估计的人类指尖位置重定向至机器人手的运动学构型。
• 向人类操作员提供实时视觉反馈，实现直观、低延迟的遥操作，且所需训练极少。
• 通过该流程收集示范数据，并利用行为克隆（BC）、BCRL、DAPG 和 PPO 等模仿学习技术在仿真环境中训练策略。
• 在真实机器人硬件上分别使用状态表示和图像表示，应用非参数化的最近邻学习（INN）与视觉模仿学习（VINN）。
• 使用自监督表示学习（BYOL）提升复杂场景中图像基模仿学习的视觉特征质量。

实验结果

研究问题

• RQ1 仅使用单个 RGB 相机和未经训练的人类操作员，能否高效训练出灵巧操作策略？
• RQ2 通过低成本、低校准需求的遥操作系统收集的示范数据，是否能在仿真与真实世界部署中有效支持模仿学习？
• RQ3 当基于简单遥操作流程收集的示范数据进行训练时，不同模仿学习方法（如参数化方法，例如 BC、PPO；非参数化方法，例如 INN）的表现如何？
• RQ4 表示学习（如 BYOL）对在有限示范数据和复杂杂乱场景下的视觉模仿性能有何影响？

主要发现

• DIME 每项任务的示范数据收集时间约为 100 秒，所需人类训练极少，且无需专用硬件。
• 在仿真环境中，基于示范数据使用 BCRL 和 PPO 微调的策略展现出平滑、类人的行为，优于原始遥操作示范，其中 PPO 即使未专门设计用于旋转任务，也成功解决了旋转与翻转任务。
• 在真实世界的 Allegro 机械手上，INN 在 90 度旋转任务中达到 100% 成功率，在翻转任务中达到 80% 成功率，显著优于参数化行为克隆方法，后者在所有任务中均完全失败。
• VINN 在翻转任务中达到 90% 成功率，在 90 度旋转任务中达到 70% 成功率，但因视觉复杂性及杂乱场景中表示学习效果差，导致在旋转任务中性能下降。
• 纯行为克隆在所有任务中均失败，归因于分布偏移与示范覆盖范围有限，凸显了强化学习微调的必要性。
• 该框架已公开发布，包含手部控制器、示范数据与学习代码，以支持未来在样本高效灵巧操作领域的研究。