[论文解读] ARROCH: Augmented Reality for Robots Collaborating with a Human

Kishan Chandan, Vidisha Kudalkar+2 more|arXiv (Cornell University)|Sep 21, 2021

Robotics and Automated Systems参考文献 30被引用 4

一句话总结

ARROCH 是一种新颖的增强现实（AR）系统，可在室内多房间环境中实现人类与多台机器人之间的双向、多轮交互。该系统通过AR叠加显示，使人类能够可视化机器人的状态和意图，并提供实时反馈，机器人则据此重新规划行动——在真实世界和模拟实验中均表现出相较于非AR基线的团队协作效率和用户体验的显著提升。

ABSTRACT

Human-robot collaboration frequently requires extensive communication, e.g., using natural language and gestures. Augmented reality (AR) has provided an alternative way of bridging the communication gap between robots and people. However, most current AR-based human-robot communication methods are unidirectional, focusing on how the human adapts to robot behaviors, and are limited to single-robot domains. In this paper, we develop AR for Robots Collaborating with a Human (ARROCH), a novel algorithm and system that supports bidirectional, multi-turn, human-multi-robot communication in indoor multi-room environments. The human can see through obstacles to observe the robots' current states and intentions, and provide feedback, while the robots' behaviors are then adjusted toward human-multi-robot teamwork. Experiments have been conducted with real robots and human participants using collaborative delivery tasks. Results show that ARROCH outperformed a standard non-AR approach in both user experience and teamwork efficiency. In addition, we have developed a novel simulation environment using Unity (for AR and human simulation) and Gazebo (for robot simulation). Results in simulation demonstrate ARROCH's superiority over AR-based baselines in human-robot collaboration.

研究动机与目标

• 解决在共享室内环境中，尤其是超出近距离范围的多机器人场景下，人机协作效率低下的挑战。
• 克服依赖人类适应机器人行为的单向、单机器人AR通信系统的局限性。
• 利用AR实现人类与多台机器人之间的双向、多轮交互，以增强协调性并降低认知负荷。
• 开发一个仿真平台，用于评估在复杂、真实的室内环境中基于AR的人机-多机器人交互。
• 通过允许人类实时可视化机器人意图并提供反馈，提升任务完成效率和用户满意度。

提出的方法

• 使用基于平板的AR界面，集成机器人当前状态（如位置的3D化身）和计划动作（如轨迹标记）的AR可视化。
• 实现一个带有屏幕按钮的交互式AR界面，使人类可提供反馈，例如在时间窗口内指示无法协助（如开门）。
• 使机器人能够基于人类反馈动态重规划其行动，将反馈整合进运动规划中，以避免冲突并提升协同性。
• 使用Unity模拟AR界面行为和人类决策，使用Gazebo模拟机器人动力学和在共享室内环境中的导航。
• 设计一个模拟环境，以建模具有遮挡物的多房间室内场景，从而实现对ARROCH性能的现实评估。
• 结合真实实验与仿真，验证ARROCH在效率和用户体验方面相较于非AR基线的优越性。

实验结果

研究问题

• RQ1 在多房间、多机器人环境中，ARROCH是否能相比标准非AR基线提升人机团队的任务完成效率？
• RQ2 与单向AR或非AR界面相比，双向AR通信是否通过降低认知负荷和提升任务专注度来增强用户体验？
• RQ3 ARROCH在将实时人类反馈整合进机器人运动规划以实现动态协作方面有多高效？
• RQ4 ARROCH在复杂室内环境中支持可扩展的、超越近距离的人机-多机器人协作的程度如何？
• RQ5 ARROCH仿真平台在预测人机协作结果方面，与真实世界表现相比如何？

主要发现

• ARROCH 显著提升了团队任务完成效率，p值介于0.01至0.05之间，具有统计显著性，相较于非AR基线。
• 在真实世界测试中，ARROCH团队在大多数情况下于950秒内完成任务，而非AR团队在相同时间内频繁未能完成任务。
• 参与者在用户体验指标（Q2、Q3、Q5）上的评分显著更高，p值<0.001，表明对机器人状态的追踪更佳、分心更少、体验更愉悦。
• 仿真环境成功复现了真实世界协作动态，证明ARROCH在人机团队协作效率方面优于基于AR的基线。
• 非AR的Rviz界面因地图和轨迹可视化效果差，尤其对非专业用户，导致参与者频繁产生困惑。
• ARROCH的双向反馈机制使参与者能够主动表明不可用状态，从而减少协调开销并提升任务专注度。