[論文レビュー] Improved bound on the worst case complexity of Policy Iteration

Romain Hollanders, Balázs Gerencsér+2 more|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|Oct 28, 2014

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿は、マルコフ決定過程（MDP）を解くためのポリシー反復（PI）に要する反復回数の最悪ケース上界を改善し、状態数$n$と1状態あたりの最大行動数$k$に対して、$ \frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$回以内に収束することを証明している。この上界は、15年前のMansour & Singh（1999）の結果を上回る最初の改善であり、緩められた系列クラスに対して最適であることが示されており、さらなる改善にはPI系列のより深い構造的解析が必要であることを示唆している。

ABSTRACT

Solving Markov Decision Processes (MDPs) is a recurrent task in engineering. Even though it is known that solutions for minimizing the infinite horizon expected reward can be found in polynomial time using Linear Programming techniques, iterative methods like the Policy Iteration algorithm (PI) remain usually the most efficient in practice. This method is guaranteed to converge in a finite number of steps. Unfortunately, it is known that it may require an exponential number of steps in the size of the problem to converge. On the other hand, many open questions remain considering the actual worst case complexity. In this work, we provide the first improvement over the fifteen years old upper bound from Mansour & Singh (1999) by showing that PI requires at most k/(k-1)*k^n/n + o(k^n/n) iterations to converge, where n is the number of states of the MDP and k is the maximum number of actions per state. Perhaps more importantly, we also show that this bound is optimal for an important relaxation of the problem.

研究の動機と目的

• マルコフ決定過程（MDP）を解くためのポリシー反復（PI）に要する反復回数の最悪ケース上界を改善すること。
• ポリシー反復収束のための最良の既知の上界（Mansour & Singh, 1999）と既知の下界との間の長年のギャップを埋めること。
• 新しい上界が、PI系列の自然な緩和形に対してタイトであることを示し、これ以上の改善には実際のPI系列のより深い組合的構造の特徴づけが必要であることを示すこと。
• 将来的な研究のためのよりタイトな上界を得る可能性を秘めた、グリッドAUSOや2値行列表現のような高度な組合的フレームワークの探求。

提案手法

• 実際のPI系列が従うべき組合的条件の部分集合を満たす、緩められたポリシー系列クラス「擬似PI系列（Pseudo-PI-sequence）」の概念を導入する。
• すべての擬似PI系列に対して、改善された上界$ \frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$が成り立つことを証明する。
• 長さがちょうど$ \frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$であるような明示的な擬似PI系列の構成により、この上界がこの緩和クラスに対してタイトであることを証明する。
• グリッド上の巡回的で一意なシンク方向（AUSOs）の枠組みを用いて、ポリシーの部分順序をモデル化し、PIステップの構造を分析する。
• 各行が1つのポリシーに対応する2値行列表現を用いてPI系列をモデル化し、列方向の変化に組合的条件を課してポリシー遷移を表現する。
• シミュレーションと構造的解析を活用し、特に$k=2$の場合に、Fibonacciに類似した上界が緩められた行列モデルに対して成り立つ可能性があることを示唆し、将来的な改善への道筋を示唆する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ決定過程におけるポリシー反復の反復回数の最悪ケース上界は、15年前のMansour & Singh（1999）の結果を上回る改善が可能か？
• RQ2 新しい上界$ \frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$は、PI系列の自然な緩和形に対して最適か？
• RQ3 擬似PI系列に対して得られた上界よりもタイトな上界を得るためには、真のPI系列に特有の追加の組合的性質は何か？
• RQ4 グリッドAUSOや2値行列表現を用いて、PI系列の構造をさらに特徴づけることで、より良い複雑さの上界を得られるか？
• RQ5 Fibonacci数列は、特に$k=2$の場合に、緩められた2値行列モデルにおけるPI系列の長さの有効な上界となるか？

主な発見

• 本稿は、MDPにおけるポリシー反復の収束に要する反復回数に対して、$ \frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$という新しい上界を確立した。
• これは、Mansour & Singh（1999）が得た以前の最良の上界$13 \cdot \frac{k^n}{n}$を改善し、15年ぶりに初の改善である。
• この上界は、擬似PI系列と呼ばれる緩められた系列クラスに対してタイトであることが示されており、正確にこの長さに達する構成例が存在する。
• この結果は、PIの最悪ケース上界をさらに改善するには、擬似PI系列が捉えるのとは異なる、真のPI系列のより深い構造的性質に依存する必要があることを示唆している。
• シミュレーションの結果、$k=2$の場合に、Fibonacciに基づく上界$F_{n+2}$が緩められた2値行列モデルに対して成り立つ可能性があることが示されており、よりタイトな上界を得るための潜在的道筋を示している。
• 本稿は、AUSOフレームワークや行列ベースの組合的モデルが、上界と下界のギャップを埋めるための将来的な研究の有望な方向性であると特定している。