[論文レビュー] Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances

Lauren W. Wang, Mohamed Kari+1 more|arXiv (Cornell University)|Jan 21, 2026

Social Robot Interaction and HRI被引用数 0

ひとこと要約

この研究は、ロボットの動作可能性と制約を視覚的手がかりで伝えるARインタフェース「X-OOHRI」を提案し、混合主導型対話とメンタルモデル形成を可能にする。ユーザ研究で有効性を検証。

ABSTRACT

Human interaction is essential for issuing personalized instructions and assisting robots when failure is likely. However, robots remain largely black boxes, offering users little insight into their evolving capabilities and limitations. To address this gap, we present explainable object-oriented HRI (X-OOHRI), an augmented reality (AR) interface that conveys robot action possibilities and constraints through visual signifiers, radial menus, color coding, and explanation tags. Our system encodes object properties and robot limits into object-oriented structures using a vision-language model, allowing explanation generation on the fly and direct manipulation of virtual twins spatially aligned within a simulated environment. We integrate the end-to-end pipeline with a physical robot and showcase diverse use cases ranging from low-level pick-and-place to high-level instructions. Finally, we evaluate X-OOHRI through a user study and find that participants effectively issue object-oriented commands, develop accurate mental models of robot limitations, and engage in mixed-initiative resolution.

研究の動機と目的

• 人間-ロボット協働におけるロボットの能力と制限の透明性の必要性を動機づける。
• 物体レベルのロボット動作可能性と制約を伝える拡張現実インタフェースを提案する。
• 現実またはシミュレーション環境で仮想ロボットツインの説明をその場で生成し、空間的操作を可能にする。

提案手法

• ビジョン-言語モデルを用いて物体特性とロボットの制限をオブジェクト指向表現にエンコードする。
• オンデマンドで説明を生成し、ARアフォダンス（視覚的サイン、ラジアルメニュー、カラーコード、説明タグ）として提示する。
• 仮想ツインの空間整合性を取るため、実機のロボットとシミュレーション環境を統合してエンドツーエンドのパイプラインを構築する。
• 同じフレームワークで、低レベル操作から高レベル指示まで幅広いタスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ARアフォダンスはリアルタイムでユーザーにロボットの能力と制限を伝えられるか。
• RQ2 オブジェクト指向で説明可能なHRIはロボット挙動の正確なメンタルモデルを支援するか。
• RQ3 ユーザーはオブジェクト指向の指示を効果的に出し、混合主導の解決に関与できるか。

主な発見

• 参加者はX-OOHRIインタフェースを用いてオブジェクト指向の指示を効果的に出した。
• ユーザーはロボットの制限に関する正確なメンタルモデルを構築した。
• インタフェースは、人間とロボットが協力してタスクを解決する混合主導型の問題解決をサポートした。