[论文解读] Equilibrium selection via Optimal transport

Shui-Nee Chow, Wuchen Li+2 more|arXiv (Cornell University)|Mar 23, 2017

Economic theories and models参考文献 15被引用 4

一句话总结

本文提出了一种基于最优传输理论的有限玩家离散博弈学习动力学，用于建模短视、贪婪及不确定的决策行为。由此产生的马尔可夫过程的平稳分布按稳定性对纯纳什均衡进行排序，其收敛至吉布斯测度，通过熵与费雪信息捕捉均衡选择机制，尤其在势博弈中表现显著。

ABSTRACT

We propose a new dynamics for equilibrium selection of finite player discrete strategy games. The dynamics is motivated by optimal transportation, and models individual players' myopicity, greedy and uncertainty when making decisions. The stationary measure of the dynamics provides each pure Nash equilibrium a probability by which it is ranked. For potential games, its dynamical properties are characterized by entropy and Fisher information.

研究动机与目标

• 解决有限玩家离散博弈中多个纯纳什均衡的选取或排序这一基本问题。
• 通过基于离散最优传输的连续时间马尔可夫跳跃过程，建模玩家的有限理性行为，体现短视、贪婪与不确定性。
• 通过将动力学与莫尔斯分解及康利-马尔可夫矩阵关联，将均衡选择机制从势博弈推广至更广泛情形。
• 通过离散熵与费雪信息刻画收敛速度，尤其在势博弈中表现显著。
• 在典型博弈（囚徒困境、石头剪刀布、非对称博弈）中验证该框架，并展示其对策略图约束的鲁棒性。

提出的方法

• 动力学通过在有限策略空间上的连续时间马尔可夫跳跃过程定义，转移速率基于成本改进与理性参数 β。
• 转移概率引入一个带有噪声的成本函数 ūi(x) = ui(x) + β log ρ(t,x)，其中 ρ(t,x) 为当前策略分布，用于建模非理性与不确定性。
• 福克-普朗克方程（FPE）描述概率密度 ρ(t,x) 的时间演化，由马尔可夫过程的生成元导出。
• 在势博弈中，FPE 对应于 Wasserstein 概率空间中自由能（势函数+熵）的梯度流。
• 证明平稳测度 ρ* 为吉布斯测度，且当 β → 0 时，通过极限不变分布对均衡稳定性进行排序。
• 通过相对费雪信息刻画平稳测度的收敛速度，确保在势博弈中实现指数收敛。

实验结果

研究问题

• RQ1 当无任何纳什均衡在收益或风险上占优时，如何系统性地对有限离散博弈中的多个纯纳什均衡进行排序？
• RQ2 是否可设计一种融合短视、贪婪与不确定行为的学习动力学，实现对均衡的唯一选择机制？
• RQ3 所提出的动力学与现有框架（如对数概率动力学、虚拟博弈、连续最优响应过程）有何关联？
• RQ4 最优传输与梯度流结构在离散博弈动力学中扮演何种角色？
• RQ5 策略图的结构性约束如何影响非势博弈中的长期均衡选择？

主要发现

• 在囚徒困境中，唯一的不变测度 ρ* 完全集中在 (D,D) 纳什均衡上，正确识别其为最稳定的结局。
• 在非对称博弈中，ρ* 赋予 (C,C) 高于 (D,D) 的概率，反映出玩家2的成本变化更快，使 (C,C) 在动力学下更具稳定性。
• 在无约束的石头剪刀布博弈中，ρ* 在所有策略组合上均匀分布，表明由于对称性与无主导性，均衡间无偏好。
• 当对玩家1的策略转移施加约束（如禁止在出剪刀后出石头）时，ρ* 变为非均匀分布，(r,p)、(s,s) 与 (p,p) 拥有最高概率，反映出策略适应性。
• 平稳测度 ρ* 唯一且与初始条件 ρ(0) 无关，证明了该动力学的全局收敛性。
• 在势博弈中，通过 ρ* 得到的均衡排序与势函数诱导的排序一致，验证了该方法与已知准则的一致性。