[論文レビュー] Policy iteration for perfect information stochastic mean payoff games with bounded first return times is strongly polynomial

Marianne Akian, Stéphane Gaubert|arXiv (Cornell University)|Oct 18, 2013

Stochastic processes and financial applications参考文献 15被引用数 12

ひとこと要約

本稿では、指定された状態への最初の帰還時刻が一様に有界である場合、完全情報確率的平均報酬ゲームにおける方策反復が強く多項式的であることを確立する。非線形ペロン＝フロベニウス理論と状態に依存するスケーリング変換を活用することで、著者らは平均報酬問題をスペクトル半径が有界な割引問題に還元し、帰還時刻の上限が固定されている場合、入力サイズに関して多項式的であるような方策反復回数の上限を示した。

ABSTRACT

Recent results of Ye and Hansen, Miltersen and Zwick show that policy iteration for one or two player (perfect information) zero-sum stochastic games, restricted to instances with a fixed discount rate, is strongly polynomial. We show that policy iteration for mean-payoff zero-sum stochastic games is also strongly polynomial when restricted to instances with bounded first mean return time to a given state. The proof is based on methods of nonlinear Perron-Frobenius theory, allowing us to reduce the mean-payoff problem to a discounted problem with state dependent discount rate. Our analysis also shows that policy iteration remains strongly polynomial for discounted problems in which the discount rate can be state dependent (and even negative) at certain states, provided that the spectral radii of the nonnegative matrices associated to all strategies are bounded from above by a fixed constant strictly less than 1.

研究の動機と目的

• 指定された状態への最初の帰還時刻が有界である場合、完全情報確率的平均報酬ゲームにおける方策反復の強多項式性を確立すること。
• 固定された割引率を有する割引ゲームにおける既知の強多項式的境界を、平均報酬および状態に依存する割引率設定へと拡張すること。
• 方策反復に対して不変であり、組合せ的構造を保持するとともに収縮解析を可能にするスケーリング変換を開発すること。
• いかなる戦略ペアに対しても、遷移行列のスペクトル半径が1から離れていることを示し、収縮に基づく反復回数の上限を可能にすること。
• グローバルな割引因子をスペクトル半径に基づく測度に置き換えることで、既存の割引ゲームの境界を統合・改善すること。

提案手法

• 非線形ペロン＝フロベニウス理論を適用し、平均報酬問題を状態に依存する割引率を有する割引問題に変換する。
• 最初の通過時間から導かれるベクトル φ を用いたスケーリング変換を導入し、問題を正規化するとともに、方策反復の痕跡を保持する。
• 順序を保ち、重み付きsupノルムにおいて要因 λ < 1 の収縮を誘発する変換 Lφ(f) を定義する。
• K が φ の成分の上限であるとすると、収縮要因 λ = (K−1)/K を用いて反復回数の上限を導出する。
• すべての戦略によって誘導される遷移行列が、スケーリングされた写像下で収縮の条件を満たすことを証明し、有限かつ有界な反復を保証する。
• 遷移行列における最終クラスの一意性を活用し、最初の通過時間ベクトル φ の存在および正の性質を保証する。

実験結果

リサーチクエスチョン

• RQ1 平均報酬確率的ゲームにおける方策反復が、帰還時刻が有界である条件下で強く多項式的であることが示せるか？
• RQ2 状態に依存する割引率と非線形スケーリングの使用が、方策反復の組合せ的構造を保持するとともに、強多項式的境界の達成を可能にするか？
• RQ3 いかなる戦略ペアに対しても、遷移行列のスペクトル半径を用いて反復回数の上限をスケーリング不変な方法で得られるか？
• RQ4 新しい境界は、割引率および問題サイズに依存する点で、既存の境界と比較してどのように異なるか？
• RQ5 変換技術を用いて、スペクトル半径が有界な割引問題に平均報酬問題を還元することは可能か？

主な発見

• 固定された状態への最初の帰還時刻が一様に有界な平均報酬ゲームにおける方策反復は、状態数および行動数に関して多項式的であることが保証され、反復回数の上限が存在する。
• 固定された λ < 1 を有する割引ゲームに対する新しい境界は、O((m₁ − n)/(1 − λ) log(1/(1 − λ))) に改善され、以前の境界を上回る。ここで m₁ は第一プレイヤーの行動数である。
• 状態に依存する割引率の設定では、いかなる戦略ペアに対しても、遷移行列の最大スペクトル半径が1から離れている限り、反復回数の上限がそのスペクトル半径の関数として有界である。
• スケーリング変換 Lφ(f) は、方策反復の組合せ的痕跡を保持し、変換後の写像が順序を保ち、要因 λ < 1 の収縮を示すことを保証する。
• 最初の通過時間ベクトル φ は φ = 1 + M_(c)φ を満たし、ここで M_(c) は c 番目の列をゼロにした遷移行列である。この関係により、スケーリングベクトルの構築が可能になる。
• K が φ に一様に有界であるとすると、収縮要因 λ = (K−1)/K が導出され、反復回数が O(K log K) に抑えられ、元の割引率とは無関係に保証される。