[论文解读] Game Theoretic Optimization via Gradient-based Nikaido-Isoda Function

Arvind U. Raghunathan, Anoop Cherian+1 more|arXiv (Cornell University)|May 15, 2019

Opinion Dynamics and Social Influence被引用 5

一句话总结

本文提出了基于梯度的Nikaido-Isoda（GNI）函数，这是一种新颖的性能函数，通过将全局优化替换为局部梯度下降，用于计算多玩家非合作博弈中的纳什均衡。GNI函数仅在各玩家优化问题的一阶驻点处消失，且可通过梯度下降实现亚线性收敛；在双线性及二次博弈中，当纳什均衡存在时，可确保线性收敛。

ABSTRACT

Computing Nash equilibrium (NE) of multi-player games has witnessed renewed interest due to recent advances in generative adversarial networks. However, computing equilibrium efficiently is challenging. To this end, we introduce the Gradient-based Nikaido-Isoda (GNI) function which serves: (i) as a merit function, vanishing only at the first-order stationary points of each player's optimization problem, and (ii) provides error bounds to a stationary Nash point. Gradient descent is shown to converge sublinearly to a first-order stationary point of the GNI function. For the particular case of bilinear min-max games and multi-player quadratic games, the GNI function is convex. Hence, the application of gradient descent in this case yields linear convergence to an NE (when one exists). In our numerical experiments, we observe that the GNI formulation always converges to the first-order stationary point of each player's optimization problem.

研究动机与目标

• 解决在非凸多玩家博弈中高效计算纳什均衡的挑战，特别是在生成对抗网络（GAN）训练的背景下。
• 克服经典Nikaido-Isoda函数的计算不可行性，该函数要求每个玩家进行全局优化。
• 开发一种计算上可行的替代方法，利用局部梯度下降，同时保持收敛性和稳定性特性。
• 在一般非凸及特定凸/二次设定下，为所提方法建立理论收敛保证。
• 在类似GAN的游戏设定中，展示基于GNI的算法在性能上优于标准优化方法（如Adam）的实证优势。

提出的方法

• 提出基于梯度的Nikaido-Isoda（GNI）函数作为性能函数，将经典NI函数中的全局最小化替换为局部最速下降步骤。
• 定义GNI函数，使其仅在每个玩家优化问题的一阶驻点处消失，从而确保均衡检测的准确性。
• 证明GNI函数在纳什驻点邻域内的局部稳定性，确保收敛行为的可靠性。
• 证明当玩家目标函数为二次函数时，GNI函数是凸的，从而可保证梯度下降线性收敛至纳什均衡。
• 引入割线近似以降低GNI函数中梯度计算的计算成本，并对由此产生的不精确算法进行收敛性分析。
• 在GNI函数上实现梯度下降算法，通过迭代优化逼近一阶纳什驻点，并在凸性与非凸性条件下提供收敛性保证。

实验结果

研究问题

• RQ1 基于梯度的Nikaido-Isoda函数重构是否能在降低计算复杂度的同时，保持对纳什均衡的收敛性？
• RQ2 GNI函数是否可作为有效的性能函数，仅在每个玩家问题的一阶驻点处消失？
• RQ3 在何种条件下，GNI函数上的梯度下降可线性收敛至纳什均衡？
• RQ4 在训练GAN时，基于GNI的算法与标准优化方法（如Adam）相比表现如何？
• RQ5 GNI框架能否扩展至GAN训练中典型的随机设置？可建立何种理论保证？

主要发现

• GNI函数仅在每个玩家优化问题的一阶驻点处消失，使其成为纳什均衡计算的有效性能函数。
• 在一般非凸博弈中，GNI函数上的梯度下降可实现亚线性收敛至一阶驻点纳什均衡。
• 在双线性极小极大博弈和多玩家二次博弈中，GNI函数是凸的，当纳什均衡存在时，可保证梯度下降线性收敛至该均衡。
• 数值实验表明，基于GNI的算法在各种博弈设定下均能稳定收敛至驻点纳什均衡，且优于Adam及其他优化方案。
• 超参数调优显示，判别器采用较高学习率（η）可加速收敛，但可能引发生成器坍塌；ρ=1时可实现平衡且稳定的下降。
• 在真实数据分布（P_r = N(μ, Σ)）的设定下，GNI方法保持了稳定且快速的收敛性，与线性GAN情形类似，表明其对分布复杂性的鲁棒性。