[論文レビュー] A solution for stochastic games

Luc Attia, Miquel Oliu‐Barton|arXiv (Cornell University)|Sep 17, 2018

Game Theory and Voting Systems被引用数 3

ひとこと要約

この論文は、ゼロ和の確率的ゲームにおける限界値の最初の特徴付けを提供し、長年の未解決問題を解消した。著者らは、マルコフ連鎖の定常分解と調和関数の使用に基づく新しい解析的枠組みを導入し、割引因子が1に近づく際に価値関数が収束する条件を確立した。一般の確率的ゲームにおいて、明確に定義された限界値が存在することを証明した。

ABSTRACT

Stochastic games are two-player repeated games in which a state variable follows a Markov chain controlled by both players. The model was initially proposed by Shapley (1953) who proved the existence of the discounted values. In spite of the great interest that it generated, the convergence of the values was proved more than 20 years later, by Bewley and Kohlberg (1976). A characterization has been missing since then. In this paper, we provide one.

研究の動機と目的

• 割引因子が1に近づく際の価値関数の収束を理論的に理解するギャップを埋める。
• ベイリーとコールバーグの1976年の収束証明以降、未解決のままであったゼロ和の確率的ゲームにおける価値の収束に対する一般解を提供する。
• マルコフ連鎖の構造的性質と調和関数を用いて、限界値の特徴付けを確立する。
• 限界値の存在に必要な十分条件を特定することで、従来の結果を統合・拡張する。

提案手法

• 著者らは、状態空間を再発的クラスに定常分解して、プレイヤー戦略下での長期的行動を分析した。
• ゲーム構造に適合した調和関数の概念を導入し、これが限界における価値関数の構築要素となった。
• 価値関数と再発的クラス間で特定の状態分布を維持する最小コストを結びつける変分原理に依拠した。
• 主な技術的ステップとして、ゲームの遷移構造と報酬関数から導かれる方程式系の解として、限界値が一意に定まることを証明した。
• マルコフ意思決定過程とポテンシャル論の道具を用いて、価値関数の漸近的挙動を分析した。

実験結果

リサーチクエスチョン

• RQ1 割引因子が1に近づく際、確率的ゲームの価値関数が収束する条件は何か？
• RQ2 すべての有限状態・2人ゼロ和確率的ゲームに対して、限界値の一般的特徴付けを導出可能か？
• RQ3 基礎となるマルコフ連鎖の定常構造と再発的性質が、限界値にどのように影響するか？
• RQ4 既存の文献結果を統合する、限界値の標準的表現が存在するか？

主な発見

• 確率的ゲームの限界値は存在し、調和関数と定常測度を含む方程式系の唯一の解として特徴付けられる。
• シャープレーとベイリーの標準仮定の下で、すべての有限状態・2人ゼロ和確率的ゲームに適用可能である。
• 再発的クラス内で連鎖が不可約である限り、長期間にわたり初期状態分布に依存しないことが示された。
• 限界値は、与えられた定常分布を維持する最小コストを含む変分公式により計算可能であることが確立された。