[論文レビュー] Strategy iteration is strongly polynomial for 2-player turn-based stochastic games with a constant discount factor

Thomas Dueholm Hansen, Peter Bro Miltersen+1 more|arXiv (Cornell University)|Aug 3, 2010

Auction Theory and Applications被引用数 13

ひとこと要約

本稿では、定数割引率を有する2人対戦型順番付き確率的ゲーム（2TBSGs）に対する戦略反復アルゴリズムが、強く多項式時間で実行されることを証明している。具体的には、m が行動数、n が状態数であるとき、O(m/(1−γ) log(n/(1−γ))) 回の反復で収束する。主な貢献は、2TBSGsを解くための最初の強く多項式時間アルゴリズムを提供したことであり、これは長年の未解決問題を解決したもので、YeによるMDPにおける方策反復の解析を、2人対戦設定に拡張し、戦略改善および価値ベクトル収束に関する新規な評価を用いることで達成された。

ABSTRACT

Ye showed recently that the simplex method with Dantzig pivoting rule, as well as Howard's policy iteration algorithm, solve discounted Markov decision processes (MDPs), with a constant discount factor, in strongly polynomial time. More precisely, Ye showed that both algorithms terminate after at most $O(\frac{mn}{1-γ}\log(\frac{n}{1-γ}))$ iterations, where $n$ is the number of states, $m$ is the total number of actions in the MDP, and $0

研究の動機と目的

• 定数割引率を有する2TBSGsに対する戦略反復が強く多項式時間で実行可能かどうかという長年の未解決問題を解決すること。
• MDPにおけるHowardの方策反復のYeによる解析を、2TBSGsの2人対戦設定に拡張すること。
• 2TBSGsにおける戦略反復アルゴリズムが要する反復回数のタイトな上界を確立すること。
• 割引率γが定数である場合、戦略反復が多項式的であるだけでなく強く多項式的であることを示すこと。
• 非割引2TBSGsおよびその類縁ゲーム（例えば単純確率的ゲームやパリティゲーム）の今後の多項式時間アルゴリズムの理論的基盤を提供すること。

提案手法

• 収束速度の評価に、戦略反復と価値反復の関係を活用する。
• 新規な補題（補題5.5）を用いて、現在の価値ベクトルと最適価値ベクトルとの距離が幾何級数的に減少することを示す：||vk − v*||∞ ≤ γk ||v0 − v*||∞。
• 重要な技術的道具（補題6.4）を適用し、L = log(1/γ)(n²/(1−γ)) 回ごとに、これまでに使われなかった新しい行動が戦略列に出現することを示す。
• 1ノルム差に基づくポテンシャル関数の議論を用いて、1反復あたりの改善量を評価する。
• 最適戦略が位置的であること、および戦略反復が価値ベクトルを単調に改善することを用いて収束を保証する。
• 価値ベクトルの減衰評価と行動多様性の評価を組み合わせ、異なる行動の数に基づく鳩の巣原理的な議論により、最終的な反復回数を導出する。

実験結果

リサーチクエスチョン

• RQ1 割引率γが定数である場合、2TBSGsに対する戦略反復アルゴリズムが強く多項式時間で実行可能であることを証明できるか？
• RQ2 MDPにおけるHowardの方策反復の反復回数の上限が、2人対戦一般化（すなわち2TBSGsの戦略反復）に拡張可能か？
• RQ3 定数γを有する2TBSGsにおける戦略反復の反復回数のタイトな上界は何か？
• RQ4 価値ベクトル収束の解析を活用して、2人対戦設定における強く多項式的上限を証明できるか？
• RQ5 戦略列に現れる構造的性質（例：新しい行動の出現）を用いて、反復回数の上限を評価できるか？

主な発見

• 定数割引率γを有する2TBSGsに対する戦略反復アルゴリズムは、最大でO(m/(1−γ) log(n/(1−γ))) 回の反復で終了する。
• この上限は、YeによるMDPに対する以前の上限O(mn/(1−γ) log(n/(1−γ))) をnの要因で改善し、O(m/(1−γ) log(n/(1−γ))) に低下させた。
• γが定数である場合、この上限は強く多項式的である。なぜなら、nおよびmに多項式的依存しており、対数項はnおよびγにのみ依存するからである。
• アルゴリズムは、2TBSGsにおける位置的最適戦略の存在を活用して、両プレイヤーの最適位置的戦略への収束を保証する。
• 証明により、L = log(1/γ)(n²/(1−γ)) 回ごとに、戦略列にこれまでに使われなかった新しい行動が出現し、行動数がm個であるため、このようなステップの総数は(m+1)Lで上限づけられることが示された。
• 本結果により、定数割引率を有する2TBSGsを解く最初の強く多項式時間アルゴリズムを提供することで、長年の未解決問題が解決された。