[论文解读] The Kullback-Liebler Divergence as a Lyapunov Function for Incentive Based Game Dynamics

Dashiell Fryer|arXiv (Cornell University)|Jun 30, 2012

Evolutionary Game Theory and Cooperation参考文献 10被引用 5

一句话总结

本文将Kullback-Leibler（KL）散度作为李雅普诺夫函数的应用扩展至一类广义的基于激励的游戏动力学，证明在满足条件时，其可确保在平衡点处实现渐近稳定。主要贡献是一个通用定理，可将先前关于复制者动态和演化稳定状态的结果作为特例统一涵盖。

ABSTRACT

It has been shown that the Kullback-Leibler divergence is a Lyapunov function for the replicator equations at evolutionary stable states, or ESS. In this paper we extend the result to a more general class of game dy-namics. As a result, sufficient conditions can be given for the asymptotic stability of rest points for the entire class of incentive dynamics. The previous known results will be can be shown as corollaries to the main theorem. 1 Information Theory and The Replicator Dy-namics Information theory was originally developed by Claude Shannon and Warren Weaver [Sha01, SW49] as a mathematical framework to describe problems in communication including, but not limited to, data compression and storage. They introduced measures of information called entropy1. Shannon’s entropy, denoted H(P), is a measure of the average uncertainty in a random variable, P. It can be interpreted as the average number of bits needed to encode a message drawn i.i.d. from P. Maximizing the entropy can be used to give a lower bound on this average number of bits needed for encryption. For our purposes, the concepts of cross entropy and relative entropy will be of great use. The Kullback-Leibler divergence (KL divergence or DKL) [KL51], or relative entropy is a measure of information gain (loss) from one state to another. More precisely, it is an average measure of the additional bits needed 1In fact, the Shannon entropy is simply the Boltzmann entropy [Jay65] without the con-stants 1 ar

研究动机与目标

• 将已知结论推广：即KL散度是复制者动态在演化稳定状态下的李雅普诺夫函数。
• 识别KL散度作为更广泛类别的基于激励的游戏动力学的李雅普诺夫函数的充分条件。
• 在单一理论框架内统一并涵盖先前关于复制者动态和ESS稳定性的结果。
• 为使用信息论工具分析演化博弈动力学中的渐近稳定性提供理论基础。

提出的方法

• 将激励动力学形式化为一类连续时间动力系统，其中策略更新由激励函数驱动。
• 将当前策略分布与平衡点之间的Kullback-Leibler散度定义为候选李雅普诺夫函数。
• 证明在激励函数满足特定条件时，KL散度沿轨迹的时间导数为负半定。
• 建立当平衡点为内点解且激励函数满足特定正则性和正性条件时，KL散度沿轨迹单调递减。
• 利用李雅普诺夫稳定性定理，当KL散度导数为负定时，得出平衡点渐近稳定的结论。
• 通过选择特定的激励函数（如对数几率或最优响应激励），重新推导出复制者动态的已知结果作为特例。

实验结果

研究问题

• RQ1 在何种条件下，Kullback-Leibler散度是基于激励的游戏动力学的李雅普诺夫函数？
• RQ2 能否使用信息论工具将演化稳定状态的稳定性分析从复制者动态推广至更广范围？
• RQ3 激励函数的性质如何影响动力学的收敛行为？
• RQ4 KL散度与一般激励动力学中平衡点的稳定性之间存在何种关系？
• RQ5 先前关于复制者动态的结果能否作为更一般定理的推论得出？

主要发现

• 在激励函数满足温和的正则性和正性条件时，KL散度可作为一类广义基于激励的游戏动力学的李雅普诺夫函数。
• 当平衡点为纳什均衡且激励函数满足适当的光滑性和严格正性时，KL散度沿轨迹的时间导数为负半定。
• 若KL散度导数为负定，则可保证平衡点的渐近稳定，该条件在激励函数满足更强条件时成立。
• 当激励函数对应于对数几率或最优响应映射时，复制者动态和演化稳定状态可作为特例被恢复。
• 该通用定理提供了一个统一框架，可涵盖并扩展演化博弈论中的先前结果。
• 使用相对熵作为李雅普诺夫函数，使我们能通过信息论原理更深入理解收敛动力学。