[论文解读] Communicating Inferred Goals with Passive Augmented Reality and Active Haptic Feedback

James F. Mullen, Josh Mosier+4 more|arXiv (Cornell University)|Sep 3, 2021

Robot Manipulation and Learning参考文献 33被引用 34

一句话总结

本文提出一种结合被动增强现实（AR）与主动触觉手环的多模态交互界面，以提升在共享自主任务中的人机教学效率。通过被动地以AR可视化推断出的目标，以及在存在不确定性时主动通过触觉反馈提示用户，该系统减少了交互时间并提高了教学效率，在用户研究中优于单一模态基线。

ABSTRACT

Robots learn as they interact with humans. Consider a human teleoperating an assistive robot arm: as the human guides and corrects the arm's motion, the robot gathers information about the human's desired task. But how does the human know what their robot has inferred? Today's approaches often focus on conveying intent: for instance, upon legible motions or gestures to indicate what the robot is planning. However, closing the loop on robot inference requires more than just revealing the robot's current policy: the robot should also display the alternatives it thinks are likely, and prompt the human teacher when additional guidance is necessary. In this paper we propose a multimodal approach for communicating robot inference that combines both passive and active feedback. Specifically, we leverage information-rich augmented reality to passively visualize what the robot has inferred, and attention-grabbing haptic wristbands to actively prompt and direct the human's teaching. We apply our system to shared autonomy tasks where the robot must infer the human's goal in real-time. Within this context, we integrate passive and active modalities into a single algorithmic framework that determines when and which type of feedback to provide. Combining both passive and active feedback experimentally outperforms single modality baselines; during an in-person user study, we demonstrate that our integrated approach increases how efficiently humans teach the robot while simultaneously decreasing the amount of time humans spend interacting with the robot. Videos here: https://youtu.be/swq_u4iIP-g

研究动机与目标

• 解决机器人学习系统中缺乏反馈的问题，使人类无法判断机器人对其目标的推断结果。
• 通过多模态反馈，不仅闭环人类意图，更闭环机器人推理过程，以改善人机协作。
• 通过结合被动AR可视化与主动触觉提示，减少人类监控时间并提高教学效率。
• 设计一种决策框架，根据机器人置信度与任务情境，动态选择被动或主动反馈。

提出的方法

• 利用Microsoft HoloLens实现被动AR可视化，在机器人运动过程中显示多个可能的目标状态（例如货架位置）。
• 通过可穿戴触觉手环在机器人存在不确定性并需要人类输入时，提供主动的、吸引注意力的反馈。
• 采用混合反馈算法，根据机器人信念置信度，决定何时显示AR可视化，何时触发触觉警报。
• 将两种模态整合进统一的共享自主框架中，机器人通过人类遥操作修正推断离散目标。
• 设计决策规则，基于不确定性与潜在教学价值优先选择反馈，提示最具信息量的人机输入方向。
• 开展被试内用户研究，对比AR仅用、触觉仅用、GUI仅用，以及AR+触觉多模态反馈在实时教学任务中的表现。

实验结果

研究问题

• RQ1 与单一模态反馈相比，结合被动AR与主动触觉反馈如何影响教学效率？
• RQ2 多模态反馈能否减少用户在教学任务中监控机器人的时长？
• RQ3 被动与主动反馈的整合是否能提升用户对机器人已知与未知内容的理解能力？
• RQ4 在不同反馈模态下，用户对意图清晰度、提示时机与教学引导的感知如何？
• RQ5 用户对AR设备的不适感在多模态反馈系统中在多大程度上影响性能与偏好？

主要发现

• 与所有单一模态基线相比，AR+触觉多模态系统显著减少了交互时间并提高了教学效率（p < .01）。
• 使用触觉反馈时，参与者在干扰任务中的得分显著更高，表明监控时间减少且任务切换能力提升（p < .01）。
• 尽管AR具有被动可视化特性，但与GUI或触觉条件相比，其在减少交互时间方面并无显著差异（p = .55 和 p = .93，分别），表明仅靠AR不足以降低用户参与度。
• 用户更偏好AR+触觉条件，认为其提升了意图清晰度，增强了对何时应进行教学的意识，并更清楚地表明了机器人已知与未知的内容。
• 主观评分显示，AR+触觉在所有五个量表（意图清晰度、提示意识、教学引导、知识透明度与总体偏好）上均优于其他选项，且所有差异均具有统计显著性（p < .05）。
• 用户对HoloLens设备的不适感可能对AR表现产生负面影响，提示在类似系统中，基于GUI的视觉反馈可能是AR的可行替代方案。