[論文レビュー] PEGASUS: A Policy Search Method for Large MDPs and POMDPs

Andrew Y. Ng, Michael I. Jordan|arXiv (Cornell University)|Jan 16, 2013

Reinforcement Learning in Robotics参考文献 17被引用数 368

ひとこと要約

PEGASUSは、一般の（PO）MDPを、決定的遷移を持つ等価なPOMDPに変換することで、大規模なマルコフ決定過程（MDP）および部分的に観測可能なMDP（POMDP）における新しい方策探索手法を提案する。この手法により、サンプル効率の良い価値推定が可能となり、時間のホライズンに関して多項式的サンプル複雑性を達成する。理論的保証と実験的成功を両立し、自転車の運転学習を含む離散的および連続的制御タスクに適用可能である。

ABSTRACT

We propose a new approach to the problem of searching a space of policies for a Markov decision process (MDP) or a partially observable Markov decision process (POMDP), given a model. Our approach is based on the following observation: Any (PO)MDP can be transformed into an "equivalent" POMDP in which all state transitions (given the current state and action) are deterministic. This reduces the general problem of policy search to one in which we need only consider POMDPs with deterministic transitions. We give a natural way of estimating the value of all policies in these transformed POMDPs. Policy search is then simply performed by searching for a policy with high estimated value. We also establish conditions under which our value estimates will be good, recovering theoretical results similar to those of Kearns, Mansour and Ng (1999), but with "sample complexity" bounds that have only a polynomial rather than exponential dependence on the horizon time. Our method applies to arbitrary POMDPs, including ones with infinite state and action spaces. We also present empirical results for our approach on a small discrete problem, and on a complex continuous state/continuous action problem involving learning to ride a bicycle.

研究の動機と目的

• 高次元または連続的状態空間および行動空間を有する大規模MDPおよびPOMDPにおける方策探索の課題に対処すること。
• 一般の（PO）MDPを、決定的遷移を持つ等価なPOMDPに変換することで、方策探索の複雑さを低減すること。
• 保証された良いサンプル複雑性を持つ、効率的な方策最適化を可能にする価値推定手法の開発。
• 時間ホライズンに対して多項式的依存となるサンプル複雑性の理論的境界を達成すること。これは、先行手法が示す指数的依存とは対照的である。
• 離散的および複雑な連続状態／連続行動問題の両方において、本手法の適用可能性と有効性を示すこと。

提案手法

• 任意の（PO）MDPを、任意の行動に対して決定的状態遷移を持つ等価なPOMDPに変換する。
• 変換された決定的遷移POMDPにおける方策の価値を推定するために、自然な方策評価手法を用いる。
• 変換された空間における方策の推定価値を最適化することで、方策探索を実行する。
• 決定的遷移の構造を活用して、価値推定のサンプル効率を向上させ、分散を低減する。
• 時間ホライズンに多項式的依存するサンプル複雑性の境界を確立するための理論的分析を適用する。
• 離散的問題と連続的制御タスク（自転車の運転）における実験的評価を通じて、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 問題の構造的変換を通じて、大規模または連続的状態のMDPおよびPOMDPにおける方策探索を、よりサンプル効率的にできるか？
• RQ2 （PO）MDPを決定的遷移を持つものに変換しても、方策価値が保存され、より良い最適化が可能になるか？
• RQ3 POMDPにおける方策探索で、先行研究が示す指数的依存を避ける多項式的サンプル複雑性を達成できるか？
• RQ4 従来の手法が困難とされる複雑な連続的制御タスクにおいて、本手法はどのように性能を発揮するか？
• RQ5 本フレームワーク下での価値推定および方策最適化に対して、どのような理論的保証を提供できるか？

主な発見

• 時間ホライズンに多項式的依存するのみで、先行手法の指数的依存と比べて顕著に改善されたサンプル複雑性の境界を達成した。
• 決定的遷移POMDPへの変換により、方策価値が保存され、変換された空間での有効な方策探索が可能となった。
• 実験結果から、離散的MDPおよび自転車の運転を含む挑戦的な連続状態／連続行動問題における方策学習に成功した。
• 変換されたPOMDPで用いられた価値推定手法により、安定的かつ高精度な方策評価が実現した。
• 理論的分析により、やや弱い仮定のもとでも、本手法が強力な一般化特性を維持することが確認された。
• 本手法は、無限大の状態空間および行動空間を有するPOMDPを含め、任意のPOMDPに適用可能である。