[論文レビュー] On the Complexity of Policy Iteration

Yishay Mansour, Satinder Singh|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 5被引用数 75

ひとこと要約

この論文は、割引率に依存しない、マルコフ決定過程（MDPs）における方策反復（PI）が最適方策に収束するまでに必要な反復回数の、最初の非自明な最悪ケース上限を確立した。PIが状態数および行動数に関して多項式時間で収束することを示し、方策空間における収束ダイナミクスのより深い洞察を提供する。

ABSTRACT

Decision-making problems in uncertain or stochastic domains are often formulated as Markov decision processes (MDPs). Policy iteration (PI) is a popular algorithm for searching over policy-space, the size of which is exponential in the number of states. We are interested in bounds on the complexity of PI that do not depend on the value of the discount factor. In this paper we prove the first such non-trivial, worst-case, upper bounds on the number of iterations required by PI to converge to the optimal policy. Our analysis also sheds new light on the manner in which PI progresses through the space of policies.

研究の動機と目的

• 割引率に依存しない、マルコフ決定過程（MDPs）における方策反復（PI）の最悪ケース複雑性を理解するギャップを埋める。
• 最適方策に到達するまでに必要なPI反復回数の証明可能な上限を確立する。
• PIが方策空間をどのように走査するかを分析し、方策改善ステップの観点からその収束行動を理解する。
• 割引率に依存しない理論的保証をPIの効率性について提供する。これは、実用的および理論的分析において極めて重要である。

提案手法

• 著者たちは、割引率に依存しない抽象化を用いた最悪ケース複雑性フレームワークを用いて、MDPsにおける方策反復の構造を分析した。
• 彼らは、価値関数の変化と方策優越関係を介して方策改善を追跡する、新しい分析手法を導入した。
• この手法は、方策更新回数を、異なる方策の数とその価値関数の順序付けに関連付けることによって、上限を求めるものである。
• 重要な要素として、方策改善定理を用いて、方策価値の単調増加を示し、収束を保証した。
• 組合せ的境界を用いて方策空間の構造と最適方策の性質を分析し、多項式時間収束を導出した。
• 最悪ケース構成と方策価値の比較を用いて、理論的境界を導出した。

実験結果

リサーチクエスチョン

• RQ1 割引率に依存しない、MDPにおける方策反復が最適方策に収束するまでに必要な最悪ケースの反復回数は何か？
• RQ2 方策反復はどのように方策空間を走査するのか？ その収束経路を支配する構造的性質は何か？
• RQ3 割引率に依存しない、非自明なPI反復回数の上限を確立できるか？
• RQ4 方策改善ステップと方策空間内の異なる方策の数の関係は何か？

主な発見

• 方策反復は、状態数および行動数に関して多項式時間で収束し、割引率に依存しない。
• 本論文は、PI反復回数の最初の非自明な最悪ケース上限を確立した。この上限は、状態数および行動数に関して多項式である。
• PIの収束経路は、各ステップで価値関数が厳密に増加する有限の連続的改善の系列によって支配されていることが示された。
• 分析により、PIは循環せず、方策空間の有限性と単調増加の改善のおかげで、常に有限ステップで収束することが明らかになった。
• この上限は割引率に依存せず、PIの最悪ケース設定における複雑性に関して長年の未解決問題を解決した。