[論文レビュー] ARROCH: Augmented Reality for Robots Collaborating with a Human

Kishan Chandan, Vidisha Kudalkar+2 more|arXiv (Cornell University)|Sep 21, 2021

Robotics and Automated Systems参考文献 30被引用数 4

ひとこと要約

ARROCHは、屋内複数部屋環境における複数のロボットと人間の間で双方向で複数回のやり取りが可能な、画期的な拡張現実（AR）システムである。このシステムは、ARオーバーレイを通じてロボットの状態や意図を可視化し、人間がリアルタイムでフィードバックを提供できるようにすることで、ロボットがそのフィードバックをもとに行動を再計画する。実世界およびシミュレーション実験の両方で、非ARベースラインと比較してチームワークの効率性とユーザーエクスペリエンスが向上することを示している。

ABSTRACT

Human-robot collaboration frequently requires extensive communication, e.g., using natural language and gestures. Augmented reality (AR) has provided an alternative way of bridging the communication gap between robots and people. However, most current AR-based human-robot communication methods are unidirectional, focusing on how the human adapts to robot behaviors, and are limited to single-robot domains. In this paper, we develop AR for Robots Collaborating with a Human (ARROCH), a novel algorithm and system that supports bidirectional, multi-turn, human-multi-robot communication in indoor multi-room environments. The human can see through obstacles to observe the robots' current states and intentions, and provide feedback, while the robots' behaviors are then adjusted toward human-multi-robot teamwork. Experiments have been conducted with real robots and human participants using collaborative delivery tasks. Results show that ARROCH outperformed a standard non-AR approach in both user experience and teamwork efficiency. In addition, we have developed a novel simulation environment using Unity (for AR and human simulation) and Gazebo (for robot simulation). Results in simulation demonstrate ARROCH's superiority over AR-based baselines in human-robot collaboration.

研究の動機と目的

• 共有屋内環境における人間-ロボット協働の非効率性、特に距離的接近を超えた状況や複数ロボットを含む状況での課題に取り組む。
• 人間がロボットの行動に適応する必要がある単方向的かつ単一ロボットに限定されたAR通信システムの限界を克服する。
• ARを用いて人間と複数のロボットの間で双方向で複数回のやり取りを可能にし、協調性を高め、認知的負荷を軽減する。
• 複雑で現実的である屋内環境において、ARを用いた人間-複数ロボットインタラクションを評価可能なシミュレーションプラットフォームを構築する。
• 人間がロボットの意図を視覚的に把握し、リアルタイムでフィードバックを提供できるようにすることで、タスク完了の効率性とユーザーサティスファクションを向上させる。

提案手法

• タブレットベースのARインターフェースを用いて、ロボットの現在の状態（例：位置を示す3Dアバター）と計画された行動（例：経路マーカー）をARで可視化する。
• 画面上のボタンを備えたインタラクティブなARインターフェースを実装し、人間が一定時間のうちに協力不能を示すフィードバック（例：ドアを開けることができない）を提供できるようにする。
• ロボットが人間のフィードバックを受けて動的に行動計画を見直し、そのフィードバックを運動計画に組み込み、衝突を回避し、協調性を向上させる。
• Unityを用いてARインターフェースの挙動と人間の意思決定をシミュレートし、Gazeboを用いて共有屋内環境におけるロボットのダイナミクスとナビゲーションをシミュレートする。
• 遮蔽がある複数部屋の屋内環境をモデル化したシミュレーション環境を設計し、ARROCHの性能を現実的かつ包括的に評価可能にする。
• 実世界実験とシミュレーションを統合し、ARROCHが非ARベースラインと比較して、両方の分野で効率性とユーザーエクスペリエンスにおいて優れていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ARROCHは、複数部屋・複数ロボット環境において、標準の非ARベースラインと比較して、人間-ロボットチームのタスク完了効率を向上させることができるか？
• RQ2 双方向AR通信は、単方向ARまたは非ARインターフェースと比較して、認知的負荷を軽減し、タスクへの集中を高めることでユーザーエクスペリエンスを向上させるか？
• RQ3 ARROCHは、動的な協働のためのロボット運動計画にリアルタイムで人間のフィードバックを統合するのにどの程度効果的か？
• RQ4 ARROCHは、複雑な屋内環境において、距離的接近を超えたスケーラブルな人間-複数ロボット協働をどの程度サポートできるか？
• RQ5 ARROCHシミュレーションプラットフォームは、人間-ロボット協働の結果を予測する上で、実世界のパフォーマンスとどの程度一致するか？

主な発見

• ARROCHはチームのタスク完了効率を顕著に向上させ、p値が0.01から0.05の間であり、統計的に有意であることが示された。
• 実世界実験では、ARROCHチームはほとんどの場合950秒以内にタスクを完了したが、非ARチームは同時間枠内でタスクを完了することが頻繁に失敗した。
• 参加者からのユーザーエクスペリエンス指標（Q2、Q3、Q5）のスコアは有意に高く、p値が0.001未満であった。これは、ロボット状態の追跡性の向上、集中力の低下、および満足度の向上を示している。
• シミュレーション環境は、実世界の協働ダイナミクスを的確に再現し、ARROCHがARベースのベースラインと比較して人間-ロボットチームワークの効率性において優れていることを示した。
• 非ARのRvizベースのインターフェースは、地図や経路の可視化が不十分であったため、特に専門外のユーザーにとって頻繁に混乱を招いた。
• ARROCHの双方向フィードバックメカニズムにより、参加者が能動的に協力不能を示すことができ、調整の負荷が軽減され、タスクへの集中が向上した。