[论文解读] Enabling Intuitive Human-Robot Teaming Using Augmented Reality and Gesture Control

Jason M. Gregory, Christopher Reardon+4 more|arXiv (Cornell University)|Sep 13, 2019

Social Robot Interaction and HRI参考文献 15被引用 12

一句话总结

本论文提出了一种基于增强现实（AR）的、手势控制的人机协同系统，采用可穿戴手套进行手势输入，并通过AR头戴式显示器（HMD）实现机器人到人的反馈，从而在无需外部传感器的现实服务任务中实现直观的双向通信。在实地测试中，该系统显著提升了情境意识和指令效率，其主要贡献体现在直观控制、实时AR可视化以及面向动态任务的鲁棒手势识别方面。

ABSTRACT

Human-robot teaming offers great potential because of the opportunities to combine strengths of heterogeneous agents. However, one of the critical challenges in realizing an effective human-robot team is efficient information exchange - both from the human to the robot as well as from the robot to the human. In this work, we present and analyze an augmented reality-enabled, gesture-based system that supports intuitive human-robot teaming through improved information exchange. Our proposed system requires no external instrumentation aside from human-wearable devices and shows promise of real-world applicability for service-oriented missions. Additionally, we present preliminary results from a pilot study with human participants, and highlight lessons learned and open research questions that may help direct future development, fielding, and experimentation of autonomous HRI systems.

研究动机与目标

• 为解决在动态、现实环境中高效、双向信息交换的人机协同挑战。
• 开发一种可现场部署的系统，通过手势识别实现直观的人对机器指令输入，并利用AR可视化实现机器对人的反馈。
• 评估一种可穿戴、无需仪器的系统在涉及自主机器人的服务导向任务中的可用性、表达能力和鲁棒性。
• 通过与人类参与者的试点实地研究，识别AI驱动的人机交互（HRI）中的实际局限性和开放性研究问题。
• 优化传感器融合与状态估计技术，以支持在非视距（NLoS）条件下长期运行的非结构化环境任务。

提出的方法

• 系统使用配备惯性测量单元（IMUs）的可穿戴手势识别手套，检测手部手势并将其转换为机器人指令。
• AR头戴式显示器（AR-HMD）将机器人生成的计划、动作和传感器数据叠加到用户的现实视野中，实现情境意识的实时感知。
• 机器人采用基于AI的自主行为，以解释指令、动态导航，并在非视距（NLoS）场景下仍能维持任务目标。
• 采用帧对齐技术，将AR-HMD的空间参考与机器人的内部地图同步，确保机器人状态和动作的可视化一致性。
• 系统支持预定义的指令集，与特定手势（如“前往”、“停止”、“跟我来”）对应，并通过触觉反馈确认指令。
• 该架构设计为最小化外部仪器依赖，仅依赖可穿戴设备，因此适用于非结构化、服务导向的现实部署任务。

实验结果

研究问题

• RQ1 如何在现实、非结构化的环境中实现基于手势的人对机器通信的直观性、表达性和鲁棒性？
• RQ2 AR可视化对人在动态任务中对自主机器人行为的情境意识和信任感有何影响？
• RQ3 系统在非视距（NLoS）条件下的表现如何？在视觉范围外操控机器人时，其可用性有何影响？
• RQ4 在可穿戴设备和机器人IMU中，长时间运行下如何保持准确的传感器状态估计（如漂移）？应如何缓解？
• RQ5 如何使手势识别系统对用户个体差异、疲劳以及长时间任务中的手势执行不一致性具备鲁棒性？

主要发现

• 参与者认为非视距（NLoS）操作功能极具影响力且直观，几乎所有参与者都对仅通过AR反馈即可轻松高效地操控视觉范围外的机器人表示惊讶。
• 系统的指令集及其对应手势足以支持核心任务，但用户普遍希望增加“跟我来”指令，支持自适应距离和速度控制，以进一步提升可用性。
• 手势手套中IMU的传感器漂移导致随时间推移的状态估计误差，需要重新校准，凸显了在可现场部署系统中引入漂移补偿算法的必要性。
• 在NLoS条件下，由于缺乏目标位置的视觉反馈，参与者在精确距离指令上遇到困难，表明需要更灵活且空间精度更高的目标指定方法。
• 手指灵巧度的个体差异影响了手势识别的准确性，尤其是精细或动态手势，提示手势设计必须考虑用户差异性。
• 对指令确认的触觉反馈受到普遍欢迎，并显著提升了用户对指令执行的信心，凸显其在低带宽或高压力环境中的重要性。