[論文レビュー] Communicating Inferred Goals with Passive Augmented Reality and Active Haptic Feedback

James F. Mullen, Josh Mosier+4 more|arXiv (Cornell University)|Sep 3, 2021

Robot Manipulation and Learning参考文献 33被引用数 34

ひとこと要約

本稿では、共有自律性タスクにおける人間-ロボット教示を向上させるために、受動的拡張現実（AR）と能動的ハプティクスウエストバンドを組み合わせたマルチモーダルインターフェースを提案する。ARを用いてロボットが推定した目的を受動的に可視化し、不確実性が生じた場合にはハプティクスフィードバックで能動的にユーザーを促すことで、インタラクション時間の短縮と教示効率の向上を実現した。ユーザースタディーにおいて、単一モダリティのベースラインを上回る性能を示した。

ABSTRACT

Robots learn as they interact with humans. Consider a human teleoperating an assistive robot arm: as the human guides and corrects the arm's motion, the robot gathers information about the human's desired task. But how does the human know what their robot has inferred? Today's approaches often focus on conveying intent: for instance, upon legible motions or gestures to indicate what the robot is planning. However, closing the loop on robot inference requires more than just revealing the robot's current policy: the robot should also display the alternatives it thinks are likely, and prompt the human teacher when additional guidance is necessary. In this paper we propose a multimodal approach for communicating robot inference that combines both passive and active feedback. Specifically, we leverage information-rich augmented reality to passively visualize what the robot has inferred, and attention-grabbing haptic wristbands to actively prompt and direct the human's teaching. We apply our system to shared autonomy tasks where the robot must infer the human's goal in real-time. Within this context, we integrate passive and active modalities into a single algorithmic framework that determines when and which type of feedback to provide. Combining both passive and active feedback experimentally outperforms single modality baselines; during an in-person user study, we demonstrate that our integrated approach increases how efficiently humans teach the robot while simultaneously decreasing the amount of time humans spend interacting with the robot. Videos here: https://youtu.be/swq_u4iIP-g

研究の動機と目的

• 人間がロボットが自分の目的について何を推定しているかを把握できない、ロボット学習システムにおけるフィードバックの欠如に取り組む。
• マルチモーダルフィードバックを通じて、ロボットの意図だけでなく推論のフィードバックループを閉じることで、人間-ロボット協働を改善する。
• 受動的AR可視化と能動的ハプティクスプロンプトを組み合わせることで、人間の監視時間の短縮と教示効率の向上を図る。
• ロボットの信頼度とタスクコンテキストに基づき、受動的フィードバックと能動的フィードバックの間で動的に選択する意思決定フレームワークを開発する。

提案手法

• ロボットの動き中に複数の可能性のある目的状態（例：棚の位置）を受動的に可視化するため、Microsoft HoloLensを活用する。
• ロボットが不確実性を示し、人間の入力が必要な場合に、注意を引きつける能動的ハプティクスフィードバックを提供するため、ウェアラブルハプティクスウエストバンドを用いる。
• ロボットの信念信頼度に基づき、AR可視化を表示するタイミングとハプティクスアラートを発動するタイミングを決定するハイブリッドフィードバックアルゴリズムを採用する。
• 共有自律性の文脈において、人間の遠隔操作補正から離散的な目的を推定するロボットの推論を統合的に扱うため、両モダリティを統合したフレームワークを構築する。
• 不確実性と教示価値の両方を考慮し、最も情報の多い人間の入力方向を優先的にプロンプトする意思決定ルールを設計する。
• 実時間の教示タスクにおいて、ARオンリー、ハプティクスオンリー、GUIオンリー、AR＋ハプティクスマルチモーダルフィードバックを比較する被験者内ユーザースタディーを実施する。

実験結果

リサーチクエスチョン

• RQ1 受動的ARと能動的ハプティクスフィードバックを組み合わせた場合、単一モダリティのフィードバックと比較して教示効率にどのような影響を与えるか？
• RQ2 マルチモーダルフィードバックは、教示タスク中におけるロボット監視に要する時間を短縮できるか？
• RQ3 受動的フィードバックと能動的フィードバックの統合は、ユーザーがロボットが何を知っているか、何を知らないかを理解する能力を向上させるか？
• RQ4 異なるフィードバックモダリティにおいて、ユーザーは意図の明確さ、プロンプトのタイミング、教示ガイドの明確さについてどのように評価するか？
• RQ5 ARデバイスに対するユーザーの不快感が、マルチモーダルフィードバックシステムにおけるパフォーマンスと好みにどのような影響を及えるか？

主な発見

• AR＋ハプティクスマルチモーダルシステムは、すべての単一モダリティベースラインと比較して、インタラクション時間の短縮と教示効率の向上を顕著に示した（p < .01）。
• ハプティクスフィードバックを使用した際、参加者はドリフトタスクで統計的に有意に高いスコアを獲得し、監視時間の短縮とタスク切り替えの向上が示された（p < .01）。
• ARの受動的可視化にもかかわらず、GUIやハプティクス条件と比較してインタラクション時間に有意差は認められなかった（p = .55 および p = .93）。これは、AR単体ではユーザー参加の短縮に不十分である可能性を示唆している。
• ユーザーはAR＋ハプティクス条件をより好む傾向にあり、意図の明確さ、教示の適切なタイミングの認識、ロボットの知識状態の明確な把握が向上したと報告した。
• 主観的評価では、AR＋ハプティクスは全5項目（意図の明確さ、プロンプト認識、教示ガイド、知識の透明性、全体の好み）において他の選択肢を上回り、すべての差が統計的に有意であった（p < .05）。
• HoloLensデバイスに対するユーザーの不快感がARパフォーマンスに悪影響を及えた可能性があり、同様のシステムにおいてGUIベースの視覚フィードバックがARの代替として有効である可能性を示唆している。