[论文解读] A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

Shuang Li, Jiaxi Jiang+6 more|arXiv (Cornell University)|Mar 11, 2020

Robot Manipulation and Learning参考文献 31被引用 5

一句话总结

本文提出了一种用于PR2机器人的移动式多模态遥操作系统的实现，该系统配备Shadow机械手，结合基于视觉的深度学习网络（Transteleop）进行手部姿态估计，以及基于IMU的方法进行手臂控制。Transteleop利用图像到图像的转换技术，将人类手部的深度图像映射为机器人手部的关节角度和重构姿态，同时通过可穿戴的摄像头支架实现全身移动，成功在精细操作任务（如抓取与放置、杯子插入）中达到最高100%的成功率。

ABSTRACT

In this paper, we present a multimodal mobile teleoperation system that consists of a novel vision-based hand pose regression network (Transteleop) and an IMU-based arm tracking method. Transteleop observes the human hand through a low-cost depth camera and generates not only joint angles but also depth images of paired robot hand poses through an image-to-image translation process. A keypoint-based reconstruction loss explores the resemblance in appearance and anatomy between human and robotic hands and enriches the local features of reconstructed images. A wearable camera holder enables simultaneous hand-arm control and facilitates the mobility of the whole teleoperation system. Network evaluation results on a test dataset and a variety of complex manipulation tasks that go beyond simple pick-and-place operations show the efficiency and stability of our multimodal teleoperation system.

研究动机与目标

• 实现自然、无标记且可移动的灵巧机械手与手臂遥操作。
• 通过基于视觉的图像到图像转换方法，解决人类手部与机器人手部之间的运动学差异。
• 通过引入可穿戴摄像头支架，克服固定摄像头系统的工作空间限制。
• 将基于IMU的手臂控制与基于视觉的手部控制相结合，实现完整的手臂-手部协调控制。
• 在复杂的真实世界操作任务中展示可靠性能，超越简单的抓取与放置任务。

提出的方法

• Transteleop是一种基于视觉的深度神经网络，能够将人类手部的深度图像转换为机器人手部的关节角度和重构图像。
• 该网络采用基于关键点的重建损失，以增强人类手部与机器人手部之间局部特征的保真度和解剖学相似性。
• 自研的可穿戴摄像头支架将深度摄像头安装在操作者手臂上，实现在遥操作过程中的连续跟踪与移动。
• 操作者手臂上的IMU传感器提供实时运动数据，用于控制机器人手臂，确保灵活且响应迅速的运动。
• 该系统将基于视觉的手部控制与基于IMU的手臂控制融合为统一的多模态遥操作系统框架。
• 该方法在自建数据集上进行训练与评估，数据集包含多样的手部姿态和复杂的操作任务。

实验结果

研究问题

• RQ1 基于视觉的图像到图像转换网络能否有效将人类手部姿态映射为机器人手部关节配置，同时保持运动学与解剖学上的相似性？
• RQ2 与固定摄像头设置相比，可穿戴摄像头支架在提升遥操作系统移动性与可用性方面有何优势？
• RQ3 视觉与IMU相结合的方法在多大程度上能够实现在真实世界任务中对完整手-臂机器人的稳定且灵巧的控制？
• RQ4 该系统在需要高精度与协调性的复杂操作任务（如双臂交接或物体推动）中的表现如何？
• RQ5 基于关键点的重建损失在多大程度上提升了生成的机器人手部图像的质量与真实感，以及控制精度？

主要发现

• 系统在抓取与放置及杯子插入任务中均实现了100%的成功率，表明其具备出色的精密抓握与力量抓握能力。
• 抓取与放置任务的平均完成时间分别为18.5秒（pick1）和37.2秒（pick2），表明任务执行效率较高。
• 物体推动任务的成功率为80%，完成时间较长，主要因方向控制困难及亚5毫米精度要求带来的挑战。
• 双臂交接任务的成功率为60%，主要受限于左手夹持器控制不够精确以及交接过程中物体丢失。
• 基于关键点的重建损失显著提升了生成的机器人手部图像中局部特征的质量，从而提高了姿态估计的准确性。
• 可穿戴摄像头支架实现了无限制的移动性，使操作者能够以自然姿势工作并直接面对机器人，提升了任务参与度与表现。