[論文レビュー] Framing Human-Robot Task Communication as a POMDP

Mark P. Woodward, Robert J. Wood|arXiv (Cornell University)|Apr 1, 2012

Robot Manipulation and Learning参考文献 22被引用数 3

ひとこと要約

本稿では、人間とロボットのタスク通信を部分的に観測可能なマルコフ決定過程（POMDP）としてモデル化する手法を提案する。ロボットは、未構造化な信号から、観測できないタスクの詳細や人間の意図を推論し、不確実性を低減する行動を取ることで、教師の誤りがあっても耐障害性があり、知的なタスク学習を可能にする。この有効性は、仮想ロボットと2値の承認フィードバックを用いたユーザ実験で検証された。

ABSTRACT

As general purpose robots become more capable, pre-programming of all tasks at the factory will become less practical. We would like for non-technical human owners to be able to communicate, through interaction with their robot, the details of a new task; we call this interaction "task communication". During task communication the robot must infer the details of the task from unstructured human signals and it must choose actions that facilitate this inference. In this paper we propose the use of a partially observable Markov decision process (POMDP) for representing the task communication problem; with the unobservable task details and unobservable intentions of the human teacher captured in the state, with all signals from the human represented as observations, and with the cost function chosen to penalize uncertainty. We work through an example representation of task communication as a POMDP, and present results from a user experiment on an interactive virtual robot, compared with a human controlled virtual robot, for a task involving a single object movement and binary approval input from the teacher. The results suggest that the proposed POMDP representation produces robots that are robust to teacher error, that can accurately infer task details, and that are perceived to be intelligent.

研究の動機と目的

• 事前にプログラムされたタスク実行に依存しない、耐障害性があり汎用的な人間-ロボットタスク通信フレームワークの開発。
• 非技術的ユーザーが自然で未構造的な対話によってロボットに新しいタスクを教えることを可能にする。
• タスク詳細と人間の意図を隠れ状態とみなし、人間の信号を観測とすることで、タスク通信をPOMDPとしてモデル化すること。
• 入力待ちではなく、不確実性を低減するアクションを選択することで、タスク推論における不確実性を能動的に低減するロボット行動の設計。
• POMDPベースのロボットと人間が制御する仮想ロボットを比較するユーザースタディを用いた、手法の実証的評価。

提案手法

• 観測できないタスクの詳細と人間の意図を隠れ確率変数として持つPOMDPとしてタスク通信を定式化する。
• 人間の信号（例：スペースバーの入力）を観測とみなし、ロボットのタスク状態に関する信念を更新する。
• タスク推論における不確実性をペナルティとするコスト関数を定義し、情報量の増加を指向する行動選択を導く。
• ベイズ推論による信念更新を用いて、時間経過に伴い可能なタスクの確率分布を維持する。
• 現在の信念と観測モデルに基づき、将来の不確実性の期待値を最小化する行動選択にPOMDPソルバーを適用する。
• 教師の反応を予測し、通信効率を最適化するための人間行動モデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 タスク詳細と人間の意図が隠れ状態である人間-ロボットタスク通信において、POMDPフレームワークは不確実性を効果的にモデル化できるか？
• RQ2 教師の誤りに対して、POMDPベースのロボットと人間が制御するロボットの間で、タスク推論の正確性と耐障害性に差は生じるか？
• RQ3 不確実性を低減する行動を取ることで、より効率的かつ知的に感じられるタスク通信が可能になるか？
• RQ4 POMDP表現は、タスク通信フェーズと実行フェーズの間の遷移をどのようにサポートするか？
• RQ5 POMDPモデルは、複雑なタスクやより豊かな人間の信号（例：視線、ジェスチャー）に対応するようにどの程度拡張可能か？

主な発見

• POMDPベースのロボットは教師の誤りに対しても耐障害性を示し、一貫性のないフィードバックがあっても正確なタスク推論を維持した。
• ユーザ実験において、POMDPベースのロボットは人間が制御するベースラインを上回る高い正確性でタスク詳細を推論した。
• 参加者はPOMDPベースのロボットを、人間が制御する代替案よりもより知的で能力があると認識した。
• ロボットの行動選択戦略は、特定のタスクパラメータのテストなど、情報量の多い行動を選択することで、不確実性を効果的に低減した。
• このフレームワークは、複雑なタスクへの自然な拡張が可能であり、より豊かな信号（例：視線、ジェスチャー）やIPOMDPによるマルチエージェントモデリングに対応できる。
• 結果から、受動的なタスク実行ではなく、能動的かつ不確実性を低減するコミュニケーションが、はるかに効果的であることが示唆された。