[论文解读] Differentiable Game Mechanics

Alistair Letcher, David Balduzzi+5 more|arXiv (Cornell University)|May 13, 2019

Model Reduction and Neural Networks被引用 32

一句话总结

本文提出了一种新颖的框架，通过将博弈的雅可比矩阵分解为对称（势博弈）和反对称（哈密顿博弈）分量，用于分析和稳定n人可微博弈。该框架提出了一阶算法Symplectic Gradient Adjustment（SGA），利用此分解来寻找稳定的不动点，在捕获数据分布谱方面表现优于基线GAN训练，且无模式崩溃现象。

ABSTRACT

Deep learning is built on the foundational guarantee that gradient descent on an objective function converges to local minima. Unfortunately, this guarantee fails in settings, such as generative adversarial nets, that exhibit multiple interacting losses. The behavior of gradient-based methods in games is not well understood -- and is becoming increasingly important as adversarial and multi-objective architectures proliferate. In this paper, we develop new tools to understand and control the dynamics in n-player differentiable games. The key result is to decompose the game Jacobian into two components. The first, symmetric component, is related to potential games, which reduce to gradient descent on an implicit function. The second, antisymmetric component, relates to Hamiltonian games, a new class of games that obey a conservation law akin to conservation laws in classical mechanical systems. The decomposition motivates Symplectic Gradient Adjustment (SGA), a new algorithm for finding stable fixed points in differentiable games. Basic experiments show SGA is competitive with recently proposed algorithms for finding stable fixed points in GANs -- while at the same time being applicable to, and having guarantees in, much more general cases.

研究动机与目标

• 解决基于梯度的多目标模型（如GAN）训练中缺乏收敛性和稳定性保证的问题。
• 超越简单收敛性，深入理解n人可微博弈中同步梯度下降的动力学行为。
• 开发一种通用算法，适用于广泛类型的博弈，而不仅限于二人零和博弈场景。
• 为非凸、多目标学习场景中收敛至稳定不动点提供理论保证。
• 为GAN及其他对抗性架构中常用的启发式训练方法提供有原则的替代方案。

提出的方法

• 使用广义Helmholtz分解，将博弈雅可比矩阵分解为对称与反对称部分。
• 将势博弈（对称分量）识别为隐式势函数上的梯度下降。
• 将哈密顿博弈（反对称分量）识别为遵循类似于经典力学中守恒律的物理规律。
• 提出Symplectic Gradient Adjustment（SGA）作为一阶算法，利用反对称分量校正梯度更新，以稳定动力学行为。
• 利用反对称分量以对抗导致循环的旋转力的方式调整梯度。
• 将SGA应用于GAN及其他多目标模型，无需计算雅可比-向量积或二阶信息。

实验结果

研究问题

• RQ1 n人可微博弈的动力学能否系统性地分解为可解释的分量？
• RQ2 势博弈与哈密顿博弈分量是否对应于已知的物理或优化原理？
• RQ3 基于此分解的一阶算法能否在非凸、多目标博弈中可靠地找到稳定不动点？
• RQ4 SGA在稳定GAN训练方面与现有方法相比表现如何，特别是在无模式崩溃的情况下？
• RQ5 所提出的框架能否超越GAN，应用于其他多智能体或多目标深度学习架构？

主要发现

• SGA在无模式崩溃的情况下成功稳定了GAN的训练，即使在预期不会发生模式崩溃的单峰数据分布上亦然。
• 在75维球形高斯数据分布中，使用RMSProp的基线GAN仅学习到协方差矩阵的一个特征值，而SGA恢复了约75个特征值（范围：0.6–1.5）。
• 博弈雅可比矩阵的对称分量对应势博弈，其中梯度下降可收敛至稳定不动点。
• 反对称分量对应哈密顿博弈，其遵循类似于经典力学系统的守恒律。
• SGA在捕捉数据分布的完整谱结构方面优于标准训练基线，表明其对真实数据流形的建模能力更强。
• 该方法具有通用性，适用于多玩家、非零和及非双线性博弈，扩展了传统二人零和博弈的适用范围。