[论文解读] An Algorithm for Computing Stochastically Stable Distributions with Applications to Multiagent Learning in Repeated Games

John R. Wicks, Amy Greenwald|arXiv (Cornell University)|Jul 4, 2012

Game Theory and Applications参考文献 8被引用 3

一句话总结

本文提出了首个用于计算马尔可夫链中随机稳定分布的精确算法，实现了对重复博弈中长期学习动态的精确预测。通过扰动学习算法以确保不可约性，并在扰动消失时计算极限分布，该方法识别出随机稳定均衡，为多智能体系统中的均衡选择问题提供了解决方案。

ABSTRACT

One of the proposed solutions to the equilibrium selection problem for agents learning in repeated games is obtained via the notion of stochastic stability. Learning algorithms are perturbed so that the Markov chain underlying the learning dynamics is necessarily irreducible and yields a unique stable distribution. The stochastically stable distribution is the limit of these stable distributions as the perturbation rate tends to zero. We present the first exact algorithm for computing the stochastically stable distribution of a Markov chain. We use our algorithm to predict the long-term dynamics of simple learning algorithms in sample repeated games.

研究动机与目标

• 解决重复博弈中多智能体学习的均衡选择问题。
• 提供一种计算精确的马尔可夫链中随机稳定分布的方法。
• 利用稳定分布预测重复博弈中的长期学习动态。
• 形式化并计算扰动率趋近于零时稳定分布的极限。
• 为博弈论多智能体系统中的应用提供实用的算法解决方案。

提出的方法

• 对学习算法的底层马尔可夫链进行扰动，以确保不可约性和遍历性。
• 在小扰动率下计算扰动链的唯一平稳分布。
• 当扰动率趋于零时应用极限过程，以提取随机稳定分布。
• 使用基于矩阵的数值方法求解扰动链的平稳分布。
• 利用随机稳定理论识别唯一的极限分布。
• 在样本重复博弈上验证算法，以展示其预测能力。

实验结果

研究问题

• RQ1 如何对多智能体学习中产生的马尔可夫链精确计算随机稳定分布？
• RQ2 在小的随机扰动下，学习算法在重复博弈中的行为如何？
• RQ3 当学习动态受到随机扰动时，重复博弈中会选择哪些均衡？
• RQ4 当扰动率消失时，是否可以算法化地计算稳定分布的极限？
• RQ5 所提出的算法如何预测重复博弈中的长期学习结果？

主要发现

• 所提出的算法首次实现了马尔可夫链中随机稳定分布的精确计算。
• 该方法在样本重复博弈（如囚徒困境和协调博弈）中成功识别出唯一的随机稳定均衡。
• 当扰动率趋近于零时，算法收敛到正确的极限分布，验证了理论预期。
• 计算出的随机稳定分布能准确预测模拟多智能体系统中的长期学习行为。
• 该方法可在存在多个纳什均衡的博弈中实现精确的均衡选择。
• 该算法在计算上是可行的，并可应用于现实世界中的多智能体学习场景。