[論文レビュー] A complexity analysis of Policy Iteration through combinatorial matrices arising from Unique Sink Orientations

Romain Hollanders, Balázs Gerencsér+2 more|arXiv (Cornell University)|Jul 16, 2014

Formal Methods in Verification参考文献 7被引用数 3

ひとこと要約

この論文は、超立方体の巡回的一意到達方向（AUSOs）を解くためのポリシー反復（PI）の計算量を分析し、PIの挙動を研究するための新しい組合的枠組みである順序正則性（OR）を導入する。本研究では、ハンセンとツィックが提唱した、PIのステップ数がフィボナッチ数列に従うという予想を反証し、ステップ数に対する新しい指数的下界Ω(1.4269ⁿ)を確立する。これは、以前のΩ(1.4142ⁿ)の下界を改善するものである。

ABSTRACT

Unique Sink Orientations (USOs) are an appealing abstraction of several major optimization problems of applied mathematics such as for instance Linear Programming (LP), Markov Decision Processes (MDPs) or 2-player Turn Based Stochastic Games (2TBSGs). A polynomial time algorithm to find the sink of a USO would translate into a strongly polynomial time algorithm to solve the aforementioned problems---a major quest for all three cases. In addition, we may translate MDPs and 2TBSGs into the problem of finding the sink of an acyclic USO of a cube, which can be done using the well-known Policy Iteration algorithm (PI). The study of its complexity is the object of this work. Despite its exponential worst case complexity, the principle of PI is a powerful source of inspiration for other methods. As our first contribution, we disprove Hansen and Zwick's conjecture claiming that the number of steps of PI should follow the Fibonacci sequence in the worst case. Our analysis relies on a new combinatorial formulation of the problem---the so-called Order-Regularity formulation (OR). Then, for our second contribution, we (exponentially) improve the $Ω(1.4142^n)$ lower bound on the number of steps of PI from Schurr and Szabó in the case of the OR formulation and obtain an $Ω(1.4269^n)$ bound.

研究の動機と目的

• 超立方体の巡回的一意到達方向（AUSOs）を解くためのポリシー反復（PI）の最悪ケース計算量を分析すること。
• ハンセンとツィックが提唱した、最悪ケースにおいてPIのステップ数がフィボナッチ数列に従うという予想の妥当性を検証すること。
• AUSOsにおけるPIの挙動をモデル化・分析するための新しい組合的枠組み「順序正則性（OR）」を考案すること。
• AUSOsにおけるPIが要するステップ数の既存の下界を改善すること。
• 新しい下界Ω(1.4269ⁿ)が、マーカフ連鎖意思決定過程（MDPs）や2TBSGsから生じる実際のAUSOインスタンスに拡張可能かどうかを検討すること。

提案手法

• ポリシー反復のAUSOsにおける挙動をモデル化するための新しい組合的抽象概念として、順序正則性（OR）を導入する。
• 反復的に行列を構築・逆転させることで、より大きなOR行列を探索するバックアンドフォアード探索アルゴリズム（アルゴリズム2）を提案する。
• 初期行列をランダムに生成し、再帰的構成（アルゴリズム1）を用いて強いOR性質を持つ候補行列を生成する。
• 強順序正則性の性質が反復中に保持されるように、逆変換（B^rev）を適用する。
• ORフレームワークを用いて、PIのステップ数を、構造的行列空間における移動としてモデル化し、分析する。
• 構築された行列の行数（ならびにPIステップ数）が反復に伴い単調に増加することを証明し、各ステップで改善が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 ハンセンとツィックの予想である、AUSOsにおけるポリシー反復のステップ数が最悪ケースでフィボナッチ数列に従うかどうか？
• RQ2 新しい組合的枠組みを用いて、AUSOsにおけるPIの既存の下界Ω(1.4142ⁿ)を改善可能かどうか？
• RQ3 順序正則性（OR）形式は、AUSOsにおけるPIの計算量分析において有効かつ妥当な抽象化であるか？
• RQ4 新しい下界Ω(1.4269ⁿ)は、MDPs や2TBSGs から生じる実際のAUSOインスタンスに拡張可能か？
• RQ5 OR行列に内在する構造的性質が、有効なAUSOsに写像可能であるか。これにより、下界が実際のAUSO問題に適用可能になるか？

主な発見

• 本研究では、ハンセンとツィックが提唱した、最悪ケースにおけるPIステップ数がフィボナッチ数列に従うという予想が反証された。
• AUSOsにおけるPIステップ数に対する新しい指数的下界Ω(1.4269ⁿ)が確立され、以前のΩ(1.4142ⁿ)の下界を改善した。
• 順序正則性（OR）形式が、AUSOsにおけるPIの挙動をモデル化・分析する強力な新しい組合的抽象化として導入された。
• バックアンドフォワード探索アルゴリズム（アルゴリズム2）が、各反復でOR行列のサイズを単調に増加させることを証明し、進捗が保証されることを示した。
• ORフレームワークが行列の逆転および再帰的構成に対して安定しており、より大きなOR行列の生成が可能であることが示された。
• 構築されたインスタンスに対してOR行列からAUSOへの写像が確立できる場合、新しい下界が実際のAUSO問題に拡張可能である可能性が残っている。