[論文レビュー] Apprenticeship Learning for Model Parameters of Partially Observable Environments

Takaki Makino, Johane Takeuchi|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 23被引用数 8

ひとこと要約

本稿では、部分的に観測可能なマルコフ決定過程（POMDP）における新手の職人学習フレームワークを提案する。エージェントは、実行者の最適行動選択を分析することで、真の環境モデルのパラメータを推定する。実行者の真のモデルに関する知識を活用することで、短いデモンストレーションからのPOMDPパラメータ推定とポリシー学習が向上し、環境報酬のみに依存する手法を凌駕する。

ABSTRACT

We consider apprenticeship learning, i.e., having an agent learn a task by observing an expert demonstrating the task in a partially observable environment when the model of the environment is uncertain. This setting is useful in applications where the explicit modeling of the environment is difficult, such as a dialogue system. We show that we can extract information about the environment model by inferring action selection process behind the demonstration, under the assumption that the expert is choosing optimal actions based on knowledge of the true model of the target environment. Proposed algorithms can achieve more accurate estimates of POMDP parameters and better policies from a short demonstration, compared to methods that learns only from the reaction from the environment.

研究の動機と目的

• 真のモデルが未知または不確実な部分的観測環境における学習の課題に対処すること。
• 環境フィードバックにのみ依存するのではなく、実行者のデモンストレーションを用いてPOMDPのパラメータ推定を改善すること。
• 短いデモンストレーション系列からのより効率的かつ正確なポリシー学習を可能にすること。
• 最適性仮定の下で実行者の行動選択プロセスを分析することで、潜在的なモデル構造およびパラメータを推定すること。
• 複雑な部分的観測設定における模倣学習とモデルベース強化学習のギャップを埋めること。

提案手法

• 本手法は、実行者が真のPOMDPモデルの知識に基づいて最適に行動すると仮定し、観測された行動からモデルパラメータを推定可能であると想定する。
• 実行者の最適性を制約として用いることで、実行者の行動系列における最尤推定問題として問題を定式化する。
• モデルパラメータの推定と推定されたダイナミクスに基づくポリシーの最適化を繰り返し行う反復的アルゴリズムを採用する。
• 潜在状態変数を伴うPOMDPにおける正確な推論が困難であることを考慮し、変分推論フレームワークを用いる。
• デモンストレーション軌道と環境フィードバックを併用して、モデルパラメータとポリシーを同時に最適化する。
• 従来の職人学習を拡張し、環境の遷移モデルおよび観測モデルにおける不確実性を明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 環境モデルが初期に未知である状況で、実行者のデモンストレーションから真のPOMDPモデルパラメータを推定できるか？
• RQ2 実行者の最適行動選択行動を活用することで、パラメータ推定の正確性をどのように向上させられるか？
• RQ3 実行者行動を組み込むことで、報酬のみに依存する学習と比較して、ポリシー学習がどの程度改善されるか？
• RQ4 部分的観測領域において、短いデモンストレーション系列からの有効な学習が可能か？
• RQ5 実行者最適性の仮定が、モデルパラメータ推定のロバスト性と正確性をどの程度向上させるか？

主な発見

• 環境報酬のみに依存するベースライン手法と比較して、提案手法は著しく正確なPOMDPパラメータ推定を達成する。
• 特にデータが少ない状況において、少ないデモンストレーションエピソードで高パフォーマンスのポリシーに迅速に収束する。
• モデルの正確性および最終的なポリシー性能の両面で、標準的な職人学習および逆強化学習のベースラインを上回る。
• 実行者の最適性をモデル化することで、ノイズが多いまたは部分最適なデモンストレーションへの過剰適合を低減する。
• 合成的およびベンチマークPOMDPタスクにおける実験結果から、異なる部分的観測環境にわたって本手法が良好に一般化することが確認された。
• アルゴリズムはモデル不確実性に対してロバストであり、ポリシー学習におけるサンプル効率性を向上させる。