[论文解读] Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances

Lauren W. Wang, Mohamed Kari+1 more|arXiv (Cornell University)|Jan 21, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

本工作推出 X-OOHRI，一种通过视觉提示传达机器人行动可能性与约束的增强现实接口，支持混合主动性交互与心理模型形成。用户研究验证其有效性。

ABSTRACT

Human interaction is essential for issuing personalized instructions and assisting robots when failure is likely. However, robots remain largely black boxes, offering users little insight into their evolving capabilities and limitations. To address this gap, we present explainable object-oriented HRI (X-OOHRI), an augmented reality (AR) interface that conveys robot action possibilities and constraints through visual signifiers, radial menus, color coding, and explanation tags. Our system encodes object properties and robot limits into object-oriented structures using a vision-language model, allowing explanation generation on the fly and direct manipulation of virtual twins spatially aligned within a simulated environment. We integrate the end-to-end pipeline with a physical robot and showcase diverse use cases ranging from low-level pick-and-place to high-level instructions. Finally, we evaluate X-OOHRI through a user study and find that participants effectively issue object-oriented commands, develop accurate mental models of robot limitations, and engage in mixed-initiative resolution.

研究动机与目标

• 在多人机协作中，说明透明的机器人能力与局限性的需求。
• 提出一种传达对象层面机器人行动可能性与约束的增强现实界面。
• 在真实或仿真环境中实现对虚拟机器人“孪生体”的即时解释生成与空间定位/Manipulation。

提出的方法

• 使用视觉-语言模型将对象属性和机器人极限编码为面向对象的表示。
• 按需生成解释，并以 AR 可用性提示（可视标识、径向菜单、颜色编码、解释标签）呈现。
• 将端到端流程与实体机器人及仿真环境集成，以实现虚拟孪生体的空间对齐。
• 通过同一框架支持从低级操作到高级指令的多种任务。

实验结果

研究问题

• RQ1 增强现实可用性提示如何实时向用户传达机器人能力与局限？
• RQ2 面向对象、可解释的人机交互是否有助于形成对机器人行为的准确心理模型？
• RQ3 用户是否能有效发出面向对象的命令并参与混合主动性解决？

主要发现

• 参与者使用 X-OOHRI 界面有效发出面向对象的命令。
• 用户建立了对机器人局限性的准确心理模型。
• 该界面支持人机共同协作解决任务的混合主动性问题。