[论文解读] General limit value in stochastic games

Bruno Ziliotto|arXiv (Cornell University)|Oct 20, 2014

Economic theories and models被引用 2

一句话总结

本文将贝克利和科赫伯格关于零和随机博弈渐近值存在的结果，从Cesaro和Abel平均推广至更广范围，通过反例证明该结果的紧致性。此外，本文进一步表明，默尔滕斯和内伊曼的均匀值结果无法自然地推广至更广泛的收益评估方式，揭示了随机博弈中价值收敛的根本限制。

ABSTRACT

Bewley and Kohlberg (1976) and Mertens and Neyman (1981) have proved, respectively, the existence of the asymptotic value and the uniform value in zero-sum stochastic games with finite state space and finite action sets. In their work, the total payoff in a stochastic game is defined either as a Cesaro mean or an Abel mean of the stage payoffs. This paper presents two findings: first, we generalize the result of Bewley and Kohlberg to a more general class of payoff evaluations and we prove with a counterexample that this result is tight. We also investigate the particular case of absorbing games. Second, for the uniform approach of Mertens and Neyman, we provide another counterexample to demonstrate that there is no natural way to generalize the result of Mertens and Neyman to a wider class of payoff evaluations.

研究动机与目标

• 将贝克利和科赫伯格在零和随机博弈中关于渐近值结果的框架，从Cesaro和Abel平均推广至更广范围。
• 通过反例证明，广义渐近值结果是紧致的，无法进一步扩展。
• 研究默尔滕斯和内伊曼的均匀值结果是否可推广至更广泛的收益评估类别。
• 通过反例表明，均匀值在原始框架之外不存在自然的推广形式。

提出的方法

• 将随机博弈的框架扩展至包含Cesaro和Abel平均之外的更广泛收益评估函数类别。
• 运用博弈论与极限理论的分析技术，研究在不同评估方法下价值函数的收敛性。
• 构造一个具体反例，证明对于某些广义评估函数，渐近值并不存在。
• 采用类似的反例方法，证明均匀值无法超越默尔滕斯和内伊曼原始设定进行推广。
• 将吸收性博弈作为特例进行分析，以验证并完善一般性结果。
• 运用拓扑与测度论论证，确立渐近值结果的紧致性。

实验结果

研究问题

• RQ1 零和随机博弈中的渐近值能否超越Cesaro和Abel平均进行推广？
• RQ2 是否存在更广泛的收益评估类别，使得渐近值依然存在？
• RQ3 默尔滕斯和内伊曼的均匀值结果能否推广至更一般的评估函数？
• RQ4 是否存在内在限制，使得均匀值无法超越原始框架进行推广？
• RQ5 在极限值背景下，吸收性博弈在广义收益评估下的行为如何？

主要发现

• 渐近值存在于比Cesaro和Abel平均更广的收益评估类别中，但该结果是紧致的，无法进一步扩展。
• 反例表明，对于某些广义评估函数，渐近值并不存在，从而证明该结果为最优。
• 默尔滕斯和内伊曼的均匀值结果无法自然推广至更广泛的收益评估类别。
• 另一个反例表明，均匀值在原始设定之外不存在一致的扩展形式。
• 吸收性博弈被作为特例分析，验证了在该子类中一般性发现的稳健性。
• 本文确立了在各种评估方案下，随机博弈中价值收敛的根本理论边界。