[论文解读] DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System

Ankur Handa, Karl Van Wyk+7 more|arXiv (Cornell University)|Oct 7, 2019

Robot Manipulation and Learning参考文献 36被引用 10

一句话总结

DexPilot 提出了一种低成本、无标记、基于视觉的遥操作技术，仅通过裸手观测即可实现对灵巧机械手-手臂系统23自由度的完整控制。通过结合基于深度学习的手部追踪、非线性运动学重定向以及GPU加速优化，即使缺乏触觉反馈，该系统在复杂操作任务中仍能实现高成功率。

ABSTRACT

Teleoperation offers the possibility of imparting robotic systems with sophisticated reasoning skills, intuition, and creativity to perform tasks. However, current teleoperation solutions for high degree-of-actuation (DoA), multi-fingered robots are generally cost-prohibitive, while low-cost offerings usually provide reduced degrees of control. Herein, a low-cost, vision based teleoperation system, DexPilot, was developed that allows for complete control over the full 23 DoA robotic system by merely observing the bare human hand. DexPilot enables operators to carry out a variety of complex manipulation tasks that go beyond simple pick-and-place operations. This allows for collection of high dimensional, multi-modality, state-action data that can be leveraged in the future to learn sensorimotor policies for challenging manipulation tasks. The system performance was measured through speed and reliability metrics across two human demonstrators on a variety of tasks. The videos of the experiments can be found at https://sites.google.com/view/dex-pilot.

研究动机与目标

• 开发一种低成本、无标记、无需手套的高自由度机械手-手臂系统遥操作系统。
• 通过仅基于视觉的人手观测，实现对复杂任务的精确、灵巧操作。
• 收集高维、多模态的状态-动作数据，以支持未来感知-运动策略的学习。
• 克服昂贵或受限遥操作系统的局限性，同时保持高控制保真度。

提出的方法

• 使用四台英特尔 RealSense 深度摄像头捕捉人手的实时RGB-D数据。
• 采用基于深度学习的裸手三维姿态估计技术，无需标记或手套即可追踪关节位置。
• 应用一种新颖的代价函数和投影方案，将人手姿态运动学重定向至Allegro机械手的关节空间。
• 利用两块NVIDIA GPU进行非线性优化，以解决运动学不一致性并保持抓握可行性。
• 采用黎曼运动策略（RMP）运动生成器，实现平滑、响应迅速的机器人运动控制。
• 集成实时反馈回路，同步人手运动与机器人执行，最大限度降低延迟。

Figure 1: Studio is composed of four cameras pointing towards the table over which the user moves their hand with the hand-arm system in close proximity to enable line of sight driven teleoperation.

实验结果

研究问题

• RQ1 低成本、基于视觉的系统能否在无需手套或标记的情况下，实现对23自由度机械手-手臂系统的可靠且精确的遥操作？
• RQ2 仅基于视觉的人手追踪在实现精细灵巧操作任务方面效果如何？
• RQ3 在追踪误差存在的情况下，运动学重定向在多大程度上能保持抓握可行性和灵巧性？
• RQ4 在缺乏触觉反馈的情况下，能否在复杂操作任务中实现高成功率？
• RQ5 该系统在不同操作者和多样化操作场景下的性能表现如何？

主要发现

• 系统在多种复杂操作任务中均实现了高成功率，包括从钱包中抽出纸币以及用四根手指同时抓取两个立方体。
• 尽管缺乏触觉反馈，两名受过训练的人类操作员仍成功完成了对精细灵巧性要求较高的任务，表明系统高度依赖视觉感知与认知规划能力。
• 通过新颖代价函数的运动学重定向，即使在中等程度的手部追踪误差下，仍能保持抓握可行性并实现精确控制。
• 系统具备收集丰富高维状态-动作数据的能力，包括92个触觉信号、23个关节位置与速度，以及力矩指令，为未来基于学习的策略开发提供了支持。
• 在0.1毫米间隙条件下尝试了插销入孔任务，最优初始放置条件下成功率达到约10%，凸显了高精度任务的挑战性。
• 系统性能受限于指尖接触时的手部追踪不准确性以及手指运动过程中的干扰现象，可通过改进追踪与控制算法加以缓解。

Figure 2: The system is comprised of three threads that operate on three different computers. The learning thread provides hand pose and joint angle priors using fused input point cloud coming from four cameras from the studio. The tracking thread runs DART for hand tracking with the priors as well