[论文解读] A mean-field analysis of two-player zero-sum games

Carles Domingo-Enrich, Samy Jelassi+3 more|arXiv (Cornell University)|Feb 14, 2020

Markov Chains and Monte Carlo Methods参考文献 43被引用 8

一句话总结

本文提出了一种基于测度空间上Wasserstein-Fisher-Rao度量的平均场框架，通过梯度下降-上升动力学求解双人零和博弈中的混合纳什均衡。该方法利用Langevin动力学实现全局收敛至近似均衡，并证明了大数定律将粒子系统与平均场动力学联系起来，从而实现了高维GAN混合模型的可扩展训练。

ABSTRACT

Finding Nash equilibria in two-player zero-sum continuous games is a central problem in machine learning, e.g. for training both GANs and robust models. The existence of pure Nash equilibria requires strong conditions which are not typically met in practice. Mixed Nash equilibria exist in greater generality and may be found using mirror descent. Yet this approach does not scale to high dimensions. To address this limitation, we parametrize mixed strategies as mixtures of particles, whose positions and weights are updated using gradient descent-ascent. We study this dynamics as an interacting gradient flow over measure spaces endowed with the Wasserstein-Fisher-Rao metric. We establish global convergence to an approximate equilibrium for the related Langevin gradient-ascent dynamic. We prove a law of large numbers that relates particle dynamics to mean-field dynamics. Our method identifies mixed equilibria in high dimensions and is demonstrably effective for training mixtures of GANs.

研究动机与目标

• 为解决在高维连续双人零和博弈中寻找混合纳什均衡（MNE）的挑战，其中纯策略均衡稀少，且传统方法如镜像下降无法扩展。
• 通过将混合策略参数化为位置与权重联合更新的粒子系统，开发一种可扩展且可实现的算法以识别MNE。
• 在配备Wasserstein-Fisher-Rao度量的概率测度空间上，为Langevin梯度上升动力学建立全局收敛保证。
• 提供理论一致性结果，将基于粒子的近似与平均场动力学联系起来，从而实现GAN混合模型的实际训练。
• 展示该方法在发现数据聚类的同时，保持真实数据上的生成性能。

提出的方法

• 本文将双人零和博弈公式化为在策略测度空间上的多智能体优化问题，利用Wasserstein-Fisher-Rao（WFR）度量定义测度空间上的梯度下降-上升流。
• 提出一种在混合策略空间上的Langevin梯度上升动力学，证明其驻点对应于近似混合纳什均衡。
• 引入第二种动力学，通过梯度下降-上升联合更新粒子位置与权重，将经验测度的演化建模为WFR几何中的相互作用粒子系统。
• 利用大数定律证明粒子系统在大粒子极限下收敛至平均场动力学，确保离散算法的一致性。
• 通过空间与时间的离散化获得实用的训练算法，并提供收敛性与一致性的理论保证。
• 该方法被应用于训练GAN混合模型，显式发现数据聚类，同时保持高质量的生成性能。

实验结果

研究问题

• RQ1 在无凸性假设条件下，概率测度空间上的梯度下降-上升动力学能否在双人零和博弈中全局收敛至混合纳什均衡？
• RQ2 如何利用基于粒子的混合策略近似来将MNE计算扩展至高维策略空间？
• RQ3 在Wasserstein-Fisher-Rao几何中，粒子经验测度动力学与底层平均场动力学之间存在何种关系？
• RQ4 在测度空间上的Langevin动力学能否在理论保证下产生近似均衡？
• RQ5 所提出的方法在生成建模中（如GAN混合模型）发现多个数据模态的性能如何？

主要发现

• 在Wasserstein-Fisher-Rao度量下，混合策略空间上的Langevin梯度上升动力学可全局收敛至近似混合纳什均衡。
• 通过联合更新位置与权重的粒子系统在大粒子极限下收敛至平均场动力学，为该方法建立了大数定律。
• 该方法可在不依赖损失函数凸性或凹性假设的条件下，实现对精确混合纳什均衡的全局收敛。
• 数值实验表明，该方法在合成博弈中克服了维度灾难，成功识别出多个均衡。
• 在真实数据上，WFR流成功训练了能够发现底层数据聚类的GAN混合模型，同时保持了强大的生成性能。
• 该框架具有通用性，不强制要求生成器或判别器的特定网络架构，与先前方法不同。