[论文解读] Concepts for End-to-end Augmented Reality based Human-Robot Interaction Systems

David Puljiz, Björn Hein|arXiv (Cornell University)|Oct 10, 2019

Augmented Reality Applications参考文献 16被引用 4

一句话总结

本文提出了一种基于头戴式显示器（HMD）的端到端增强现实（AR）框架，用于人机交互，实现了无缝的机器人设置、编程、交互及模仿学习。通过利用HoloLens等HMD实现空间映射、手势追踪和实时参照，系统实现了鲁棒的AR-机器人对齐与直观协作，无需外部传感器，推动了柔性、协作式工业机器人的发展愿景。

ABSTRACT

The field of Augmented Reality (AR) based Human Robot Interaction (HRI) has progressed significantly since its inception more than two decades ago. With more advanced devices, particularly head-mounted displays (HMD), freely available programming environments and better connectivity, the possible application space expanded significantly. Here we present concepts and systems currently being developed at our lab to enable a truly end-to-end application of AR in HRI, from setting up the working environment of the robot, through programming and finally interaction with the programmed robot. Relevant papers by other authors will also be overviewed. We demonstrate the use of such technologies with systems not inherently designed to be collaborative, namely industrial manipulators. By trying to make such industrial systems easily-installable, collaborative and interactive, the vision of universal robot co-workers can be pushed one step closer to reality. The main goal of the paper is to provide a short overview of the capabilities of HMD-based HRI to researchers unfamiliar with the concepts. For researchers already using such techniques, the hope is to perhaps introduce some new ideas and to broaden the field of research.

研究动机与目标

• 解决在工业环境中构建灵活、可重构、协作式机器人工作单元的挑战。
• 克服传统机器人工作单元对复杂设置、固定基础设施及外部追踪系统依赖的局限性。
• 通过HMD作为主要接口，实现直观的AR编程与工业机械臂交互。
• 将AR与机器人控制栈（ROS、MoveIt!）集成，支持实时、空间感知的人机协作。
• 通过利用HMD传感器数据（手势追踪、深度、运动）支持自然示范与技能获取，推进模仿学习的发展。

提出的方法

• 利用HoloLens实现自我定位、环境网格化以及实时手势与姿态追踪，以支持自然交互。
• 实现多阶段参照管道：半自动（种子全息图 + ICP/Super4PCS）、自动（基于描述符匹配）以及连续（基于双目视觉追踪）。
• 通过rosbridge将ROS与ROS#集成，实现HMD与机器人控制系统之间的双向通信。
• 融合HMD手势追踪与腕戴式IMU数据，即使在漂移情况下也能保持准确的人体姿态估计。
• 利用HoloLens的深度与RGB数据估算物体形变与接触力，支持模仿学习的数据采集。
• 通过AR叠加开发虚拟轨迹编程，使用户可直接在物理工作空间中定义航点与路径。

实验结果

研究问题

• RQ1 HMD-based AR系统如何在无需外部标记物的情况下，实现虚拟机器人模型与实际工业机械臂之间的鲁棒、实时参照？
• RQ2 HMD在多大程度上可以替代外部追踪系统用于人机协作？此类解决方案的精度与可靠性如何？
• RQ3 基于AR的交互与编程是否能减少工业机器人部署的设置时间并提升直观性？
• RQ4 如何利用HMD传感器数据支持高保真度的机器人操作任务模仿学习？
• RQ5 HMD-based AR在工业人机交互中的关键故障模式与局限性是什么？如何加以缓解？

主要发现

• 使用种子全息图与ICP或Super4PCS的半自动参照方法，实现了虚拟与真实机器人之间精确对齐，通过视觉与空间一致性得到验证。
• 基于描述符（OUR-CVFH、SHOT或自定义）的自动参照方法实现了无标记物初始化，但性能在不同机器人类型与环境间存在差异。
• 利用HoloLens摄像头的双目视觉实现连续自动参照，可在HMD移动过程中维持对齐，减少用户重新参照的需求。
• 融合HMD手势追踪与腕戴IMU数据，实现了稳定、漂移补偿的人体姿态估计，支持实时碰撞避免。
• 基于HMD的AR实现了直观的现场机器人编程与轨迹定义，显著提升了物理机器人工作单元中的可用性。
• HMD传感器数据（包括深度与运动）支持模仿学习的数据采集，具备在真实环境中实现从人类示范端到端学习的潜力。