[论文解读] A Tauberian theorem for nonexpansive operators and applications to zero-sum stochastic games

Bruno Ziliotto|arXiv (Cornell University)|Jan 26, 2015

Economic theories and models参考文献 23被引用 6

一句话总结

本文建立了非扩张算子的一般Tauber定理，证明在零和随机博弈中，n阶段博弈值 $v_n$ 的一致收敛性与当 $\lambda \to 0$ 时 $\lambda$-贴现博弈值 $v_\lambda$ 的一致收敛性等价。关键贡献是首次构造出一个具有公共状态信号的有限状态、有限动作、有限信号的随机博弈，其中 $v_\lambda(k_1)$ 和 $v_n(k_1)$ 收敛到不同的极限，从而解决了随机博弈理论中长期悬而未决的开放问题。

ABSTRACT

We prove a Tauberian theorem for nonexpansive operators, and apply it to the model of zero-sum stochastic game. Under mild assumptions, we prove that the value of the lambda-discounted game v_{lambda} converges uniformly when lambda goes to 0 if and only if the value of the n-stage game v_n converges uniformly when n goes to infinity. This generalizes the Tauberian theorem of Lehrer and Sorin (1992) to the two-player zero-sum case. We also provide the first example of a stochastic game with public signals on the state and perfect observation of actions, with finite state space, signal sets and action sets, in which for some initial state k_1 known by both players, (v_{lambda}(k_1)) and (v_n(k_1)) converge to distinct limits.

研究动机与目标

• 将Lehrer和Sorin的Tauber定理从单控制器推广到双人零和随机博弈。
• 解决在一般随机博弈中，$v_n$ 的一致收敛性是否蕴含 $v_\lambda$ 的一致收敛性，反之亦然的开放问题。
• 构造首个具有公共状态信号和完美动作观测的有限时 horizon 随机博弈，使得 $v_\lambda(k_1)$ 与 $v_n(k_1)$ 收敛到不同的极限。
• 建立一个使用非扩张算子分析不同评价准则下博弈值收敛性的通用框架。

提出的方法

• 证明作用于有界函数上的非扩张算子的Tauber定理，关联离散时间与连续时间平均值的渐近行为。
• 将算子理论方法应用于Shapley方程，利用随机博弈中动态规划算子的非扩张性质。
• 构造一个具有有限状态、动作和信号集的隐含随机博弈，通过递归状态转移和信念演化机制制造出不同的极限。
• 采用三阶段构造法：第一阶段构造一个博弈，使得 $v_n(k_1)$ 收敛到 $>2/3$，而 $v_\lambda(k_1)$ 收敛到 $1/2$；第二阶段构造一个对称博弈，同样满足 $v_n(k_1)$ 收敛到 $>2/3$，$v_\lambda(k_1)$ 收敛到 $1/2$；第三阶段构造一个混合博弈，将两者结合以产生不同的极限。
• 定义最终博弈，使得玩家2可在长期博弈（价值为 $1/2$，通过 $v_\lambda$ 衡量）与永久收益 $x > 1/2$（通过 $v_n$ 衡量）之间进行选择，从而利用收敛行为的差异。
• 利用小 $\lambda$ 时 $v_\lambda$ 偏好长期博弈，而大 $n$ 时 $v_n$ 偏好即时收益的特性，确保极限不同。

实验结果

研究问题

• RQ1 在双人零和随机博弈中，$n$-阶段博弈值 $v_n$ 的一致收敛性是否蕴含 $\lambda$-贴现博弈值 $v_\lambda$ 的一致收敛性？
• RQ2 反之是否成立：$v_\lambda$ 的一致收敛性是否蕴含 $v_n$ 的一致收敛性？
• RQ3 具有有限状态、动作和信号集的随机博弈是否可能使 $v_\lambda(k_1)$ 与 $v_n(k_1)$ 在某些初始状态 $k_1$ 下收敛到不同的极限？
• RQ4 在什么条件下 $v_n$ 与 $v_\lambda$ 的极限相同，又在什么条件下会发散？
• RQ5 如何利用非扩张算子推导随机博弈值的Tauber定理？

主要发现

• 本文证明，在较弱条件下，双人零和随机博弈中 $v_n$ 一致收敛当且仅当 $v_\lambda$ 一致收敛。
• 当一致收敛成立时，$v_n$ 与 $v_\lambda$ 的极限相等，将Lehrer和Sorin的结果推广至双人情形。
• 本文构造了一个具有公共状态信号和完美动作观测的有限时 horizon 随机博弈，使得 $v_\lambda(k_1)$ 收敛到 $1/2$，而 $v_n(k_1)$ 收敛到一个值 $x > 1/2$，从而证明了极限的差异。
• 该例子通过三阶段构造实现：第一阶段，构造一个博弈，使得 $\liminf v_n(k_1) > 2/3$ 且 $v_\lambda(k_1) \to 1/2$；第二阶段，构造一个对称博弈；第三阶段，构造一个混合博弈，使玩家2可在长期与即时收益间选择。
• 在最终博弈中，$\lim_{\lambda \to 0} v_\lambda(\omega_4) = 1/2$ 且 $\lim_{n \to \infty} v_n(\omega_4) = x > 1/2$，证明了不同极限的存在性。
• 结果表明，即使在具有有限结构的博弈中，一致收敛性也不足以保证极限的等价性，这在一般随机博弈中是不成立的。