[論文レビュー] Learning from Humans as an I-POMDP

Mark P. Woodward, Robert J. Wood|arXiv (Cornell University)|Apr 1, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用数 8

ひとこと要約

本稿では、インタラクティブな人間の指導を、エージェントが教員を信念空間内の合理的なエージェントとして扱うインタラクティブPOMDP（I-POMDP）としてモデル化する手法を提案する。教員の信号とエージェントの学習可能なプログラミングパラメータが確率変数として表現され、原理的で一貫した行動選択と信念更新を可能にし、ジェスチャー、言語、報酬といった多様な指導信号をサポートする。これにより、複雑で適応的な人間エージェント間の相互作用が実現される。

ABSTRACT

The interactive partially observable Markov decision process (I-POMDP) is a recently developed framework which extends the POMDP to the multi-agent setting by including agent models in the state space. This paper argues for formulating the problem of an agent learning interactively from a human teacher as an I-POMDP, where the agent \emph{programming} to be learned is captured by random variables in the agent's state space, all \emph{signals} from the human teacher are treated as observed random variables, and the human teacher, modeled as a distinct agent, is explicitly represented in the agent's state space. The main benefits of this approach are: i. a principled action selection mechanism, ii. a principled belief update mechanism, iii. support for the most common teacher \emph{signals}, and iv. the anticipated production of complex beneficial interactions. The proposed formulation, its benefits, and several open questions are presented.

研究の動機と目的

• 部分的に観測可能な環境において、ロボットが人間の教員から学ぶための原理的フレームワークを開発すること。
• エージェントの状態空間内に人間の教員を合理的なエージェントとしてモデル化し、教員の意図に関する信念に基づく推論を可能にすること。
• ジェスチャー、言語、報酬、モデリングといった多様な指導信号の解釈を、単一の確率的意思決定メカニズムで統合すること。
• エージェントの信念状態に教員の行動と学習目標を明示的に表現することで、複雑で適応的な相互作用を支援すること。
• 教員の意図やプログラミング目標についての不確実性がある中でも、期待効用最大化に基づいた行動選択と信念更新を可能にすること。

提案手法

• 学習者としての人間の指導問題をI-POMDPとして定式化し、POMDPフレームワークを拡張して、エージェントの状態空間内に人間教員のモデルを組み込む。
• エージェントの学習可能なプログラミングパラメータをエージェントの信念状態内に確率変数として表現し、これらのパラメータに関する確率的推論を可能にする。
• ジェスチャー、言語、報酬、身体の姿勢といったすべての人間の信号を、信念をベイズ推論で更新する観測確率変数としてモデル化する。
• 再帰的ベイズ信念更新（式1）を用いて、世界状態および教員のモデルに関する信念を維持・精緻化する。
• 期待効用最大化（式2–5）を用いて行動選択を行う。ここで効用は、信念の確実性（例：エントロピーの最小化）を最大化することとして定義される。
• 多段階の信念ネスティングを可能にし、エージェントが教員が自分をどのように認識しているかの信念についても維持することで、マルチエージェント環境における再帰的推論を支援する。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、ジェスチャー、自然言語、報酬といった多様な人間の指導信号を、統一された意思決定フレームワーク内でどのように体系的かつ一貫して解釈できるか？
• RQ2 人間教員の意図とエージェント自身の学習可能なプログラミングパラメータに関する信念を、最適に表現・更新する方法は何か？
• RQ3 教員を合理的なエージェントとして明示的にモデル化することで、受動的観察や模倣に比べて、学習効率と相互作用の質がどのように向上するか？
• RQ4 リアルタイムの学習シナリオにおいて、信念表現の正確さ、モデルネスティングの深さ、計算コストの間にはどのようなトレードオフが存在するか？
• RQ5 過去の学習経験から得られるヒューリスティクスは、その後のヒューマンロボット指導相互作用の効率をどのように向上させ得るか？

主な発見

• I-POMDPの定式化により、教員の意図やエージェント自身のプログラミングに関する不確実性がある中でも、期待効用最大化に基づいた原理的で一貫した行動選択が可能になる。
• 信念更新は再帰的ベイズ推論を用いて体系的に行われ、エージェントは時間の経過とともに教員のモデルやターゲットプログラミングに関する理解を精緻化できる。
• このフレームワークは、ジェスチャー、言語、報酬、モデリングといったすべての一般的な指導信号を、単一の確率的解釈メカニズムで自然にサポートする。
• 教員を合理的なエージェントとしてモデル化することで、教員の行動と意図に関する再帰的推論が可能になり、複雑で適応的な相互作用が促進される。
• この定式化により、模倣学習、強化学習、直接的なモデリングが一つの統合フレームワーク内で実現可能となり、信号固有の処理モジュールの必要性が低減される。
• 負のエントロピーを効用関数として用いることで、学習したプログラミングに関する不確実性を低減する効果が得られ、初期の実験では収束が速くなる。