[论文解读] Constant payoff in zero-sum stochastic games

Miquel Oliu Barton, Bruno Ziliotto|arXiv (Cornell University)|Nov 12, 2018

Markov Chains and Monte Carlo Methods参考文献 13被引用 3

一句话总结

本文证明，在玩家极为耐心的零和随机博弈中，无论博弈状态如何，期望总收益保持不变，从而证实了Sorin、Venel与Vigeral（2010）提出的猜想。该结果通过半代数方法、罕见转移的马尔可夫链以及值函数的变分不等式得以建立。

ABSTRACT

In a zero-sum stochastic game, at each stage, two adversary players take decisions and receive a stage payoff determined by them and by a random variable representing the state of nature. The total payoff is the discounted sum of the stage payoffs. Assume that the players are very patient and use optimal strategies. We then prove that, at any point in the game, players get essentially the same expected payoff: the payoff is constant. This solves a conjecture by Sorin, Venel and Vigeral (2010). The proof relies on the semi-algebraic approach for discounted stochastic games introduced by Bewley and Kohlberg (1976), on the theory of Markov chains with rare transitions, initiated by Friedlin and Wentzell (1984), and on some variational inequalities for value functions inspired by the recent work of Davini, Fathi, Iturriaga and Zavidovique (2016)

研究动机与目标

• 解决关于在玩家极为耐心时，零和随机博弈中期望收益是否在所有状态下保持不变的猜想。
• 分析在最优策略下，折扣随机博弈的长期行为。
• 证明在耐心行为的极限下，值函数在所有状态间保持不变。
• 统一半代数博弈理论、罕见转移马尔可夫链以及值函数变分分析的技术。

提出的方法

• 将Bewley与Kohlberg（1976）的半代数方法适配，用于分析折扣随机博弈中值函数的渐近结构。
• 应用Friedlin与Wentzell（1984）关于罕见转移马尔可夫链的理论，以建模在耐心策略下的缓慢状态变化。
• 使用受Davini等人（2016）启发的变分不等式，刻画值函数的极限行为。
• 证明在贴现率趋近于零的极限下，值函数在所有状态上收敛为常数。
• 结合上述工具，表明最优策略在任何当前状态下均产生相同的期望收益。
• 证明在长期极限下，最优策略下博弈的值与初始状态无关。

实验结果

研究问题

• RQ1 当玩家极为耐心时，在零和随机博弈中，期望总收益是否在所有状态下保持不变？
• RQ2 能否利用现有分析工具，正式证明在耐心行为下收益恒定的猜想？
• RQ3 状态过程中罕见转移如何影响随机博弈的长期价值结构？
• RQ4 值函数的变分不等式在多大程度上可描述折扣随机博弈的极限行为？
• RQ5 在贴现率趋近于零的极限下，值函数是否在所有状态间保持不变？

主要发现

• 当玩家极为耐心并采取最优策略时，所有状态下的期望总收益保持不变。
• 在贴现率趋近于零的极限下，值函数无论初始状态为何，均收敛为常数。
• 该结果证实了Sorin、Venel与Vigeral（2010）关于零和随机博弈中收益恒定的猜想。
• 半代数框架使得对极限值结构的精确刻画成为可能。
• 将罕见转移理论与变分不等式相结合，为长期博弈行为提供了新的分析路径。
• 收益恒定源于最优策略与状态过程渐近稳定性的相互作用。