[論文レビュー] General limit value in stochastic games

Bruno Ziliotto|arXiv (Cornell University)|Oct 20, 2014

Economic theories and models被引用数 2

ひとこと要約

この論文は、ゼロ和の確立的ゲームにおける漸近的価値の存在を、セザロ平均やアベル平均を超えて一般化し、反例を用いてそのタイトネスを証明する。さらに、メルツェスとネイマンによる一様価値の結果が、より広い利得評価に自然に拡張できないことを示し、確立的ゲームにおける価値収束の根本的な限界を確立する。

ABSTRACT

Bewley and Kohlberg (1976) and Mertens and Neyman (1981) have proved, respectively, the existence of the asymptotic value and the uniform value in zero-sum stochastic games with finite state space and finite action sets. In their work, the total payoff in a stochastic game is defined either as a Cesaro mean or an Abel mean of the stage payoffs. This paper presents two findings: first, we generalize the result of Bewley and Kohlberg to a more general class of payoff evaluations and we prove with a counterexample that this result is tight. We also investigate the particular case of absorbing games. Second, for the uniform approach of Mertens and Neyman, we provide another counterexample to demonstrate that there is no natural way to generalize the result of Mertens and Neyman to a wider class of payoff evaluations.

研究の動機と目的

• ゼロ和の確立的ゲームにおけるベイリーとコールバーグの漸近的価値結果を、セザロ平均やアベル平均を超えて一般化すること。
• 反例を用いて、一般化された漸近的価値結果がタイトであり、さらに拡張できないことを示すこと。
• メルツェスとネイマンによる一様価値の結果が、より広い利得評価のクラスに拡張可能かどうかを調査すること。
• 反例を用いて、元のフレームワークを超えて一様価値の自然な一般化が存在しないことを示すこと。

提案手法

• 確立的ゲームの枠組みを、セザロ平均やアベル平均を超えるより広い利得評価関数のクラスに拡張すること。
• ゲーム理論および極限理論からの解析的手法を用いて、さまざまな評価方法における価値関数の収束を検討すること。
• 特定の反例を構築し、ある種の一般化された評価関数に対して漸近的価値が存在しないことを示すこと。
• 同様の反例手法を用いて、一様価値が元のメルツェスとネイマンの設定を超えて一般化できないことを証明すること。
• 一般結果の妥当性と精緻化を検証するために、吸収ゲームを特別なケースとして分析すること。
• 位相的および測度論的議論を用いて、漸近的価値結果のタイトネスを確立すること。

実験結果

リサーチクエスチョン

• RQ1 ゼロ和の確立的ゲームにおける漸近的価値は、セザロ平均やアベル平均を超えて一般化可能か？
• RQ2 漸近的価値が依然として存在する、より広い利得評価のクラスは存在するか？
• RQ3 メルツェスとネイマンによる一様価値の結果は、より一般化された評価関数に拡張可能か？
• RQ4 一様価値の一般化を妨げる本質的な制限は存在するか？
• RQ5 吸収ゲームは、極限価値の文脈において、一般化された利得評価下でどのように振る舞うか？

主な発見

• 漸近的価値は、セザロ平均やアベル平均を超えるより広い利得評価のクラスにおいて存在するが、この結果はタイトであり、さらに拡張できない。
• 反例により、ある種の一般化された評価関数に対して漸近的価値が存在しないことが示され、この結果が最適であることが証明された。
• メルツェスとネイマンによる一様価値の結果は、より広い利得評価のクラスに自然に一般化できない。
• 別の反例により、元の設定を超えて一貫した一様価値の拡張が存在しないことが示された。
• 吸収ゲームは特別なケースとして分析され、この部分集合内での一般的発見の頑健性が確認された。
• 本論文は、さまざまな評価方式下での確立的ゲームにおける価値収束の根本的な理論的境界を確立した。