[論文レビュー] Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations

Finale Doshi‐Velez, George Konidaris|arXiv (Cornell University)|Aug 15, 2013

Gaussian Processes and Bayesian Inference参考文献 24被引用数 28

ひとこと要約

本論文では、低次元の潜在パラメータを介して関連する制御タスクの族をモデル化する、半パラメトリックなベイジアンフレームワークである隠れパラメータマルコフ決定過程（HiP-MDP）を提案する。関連する潜在要因を特定するためにインド・ブッフェット過程（IBP）を用い、ダイナミクスをモデル化するためにガウス過程（GP）を用いることで、最小限のデータで新しいタスクインスタンスに迅速に適応可能となり、わずか5エピソードの後にはアクロボット領域でほぼ最適な性能を達成する。これは標準モデルと比較して著しく高速である。

ABSTRACT

Control applications often feature tasks with similar, but not identical, dynamics. We introduce the Hidden Parameter Markov Decision Process (HiP-MDP), a framework that parametrizes a family of related dynamical systems with a low-dimensional set of latent factors, and introduce a semiparametric regression approach for learning its structure from data. In the control setting, we show that a learned HiP-MDP rapidly identifies the dynamics of a new task instance, allowing an agent to flexibly adapt to task variations.

研究の動機と目的

• 類似したが同一ではないダイナミクスを示す新しい制御タスクインスタンスに、効率的に適応することに挑戦する。
• 低次元の共有潜在パラメータ空間を用いて、動的システムのインスタンス間の変動をモデル化する。
• 関連ドメイン間の事前経験を活用することで、新しいタスクインスタンスにおけるポリシー学習を迅速化する。
• システムの運動学的特性や潜在パラメータの数に関する事前知識を必要としない、非パラメトリックでデータ駆動型の手法を開発する。
• 構造的変化を伴う制御アプリケーションにおける転移学習のスケーラブルで柔軟なフレームワークを提供する。

提案手法

• 関連するタスク間での遷移ダイナミクスを予測するために関連する潜在パラメータを特定するために、非パラメトリック事前分布としてインド・ブッフェット過程（IBP）を用いる。
• 潜在パラメータとシステムダイナミクスの関数的関係をモデル化するためにガウス過程（GPs）を用い、連続的パラメータ空間における非パラメトリック回帰を可能にする。
• 観測データから複数のタスクインスタンスにわたって基底関数と重みを同時に学習する、半パラメトリック回帰アプローチを採用する。
• 複数の関連するタスクインスタンスからのバッチデータを活用して、事前に共有基底関数を学習し、その後新しいインスタンスのダイナミクスを迅速に推論するために用いる。
• 部分的観測に基づいてポリシーを計画または合成できるように、潜在パラメータにおける信念更新メカニズムを適用する。
• 完全なベイジアンモデルの計算複雑性に対処するために、変分近似を用いて推論を行う。

実験結果

リサーチクエスチョン

• RQ1 類似したが同一ではないダイナミクスを示すタスクファミリーの新しいインスタンスに、制御エージェントがどのように効率的に適応できるか。
• RQ2 システム方程式の明示的知識がなくても、関連する制御タスク間での一般化を可能にする潜在パラメータ化は何か。
• RQ3 非パラメトリックベイジアンモデルは、観測データのみから、MDPの族における変動の構造を発見できるか。
• RQ4 新しいタスクインスタンスにおけるサンプル効率性の観点で、提案手法は標準RLおよびベイジアンRLと比較してどのように異なるか。
• RQ5 共通の低次元表現によるダイナミクスの表現は、関連するが新しい環境における学習をどの程度加速できるか。

主な発見

• IBP-GPモデルは、新しいタスクインスタンスと5エピソードの相互作用後、アクロボット領域でほぼ最適な性能を達成した。
• 標準モデルは同程度の性能に到達するまで約15エピソードを要したため、サンプル効率性の面で顕著な向上が示された。
• 事前知識がなくとも、潜在パラメータの数や関数形の知識がなくても、IBP事前分布を用いることで関連する潜在パラメータを正しく同定できた。
• タスクインスタンス間で共有された基底関数の使用により、迅速な推論と迅速な適応が可能となり、完全な再トレーニングの必要性が低減された。
• 質量や長さなどのシステムパラメータの変更を含む、複数のタスク変種においても、モデルは頑健な性能を示した。
• 特に初期相互作用段階において、学習速度と最終的性能の両面でベースライン手法を上回った。