[论文解读] Last-Iterate Convergence: Zero-Sum Games and Constrained Min-Max Optimization

Constantinos Daskalakis, Andrew Ilyas+2 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 109

一句话总结

本文提出乐观镜面下降（OMD）用于训练Wasserstein GAN，以解决GAN训练中的极限环振荡和不稳定性问题。通过利用可预测的对手动态，OMD在双线性零和博弈中实现了最终迭代收敛，而标准梯度下降（GD）则会循环。实验表明，OMD在DNA序列生成中降低了KL散度，并在使用乐观Adam训练CIFAR10时提升了Inception分数。

ABSTRACT

Motivated by applications in Game Theory, Optimization, and Generative Adversarial Networks, recent work of Daskalakis et al [Daskalakis et al., ICLR, 2018] and follow-up work of Liang and Stokes [Liang and Stokes, 2018] have established that a variant of the widely used Gradient Descent/Ascent procedure, called "Optimistic Gradient Descent/Ascent (OGDA)", exhibits last-iterate convergence to saddle points in unconstrained convex-concave min-max optimization problems. We show that the same holds true in the more general problem of constrained min-max optimization under a variant of the no-regret Multiplicative-Weights-Update method called "Optimistic Multiplicative-Weights Update (OMWU)". This answers an open question of Syrgkanis et al [Syrgkanis et al., NIPS, 2015]. The proof of our result requires fundamentally different techniques from those that exist in no-regret learning literature and the aforementioned papers. We show that OMWU monotonically improves the Kullback-Leibler divergence of the current iterate to the (appropriately normalized) min-max solution until it enters a neighborhood of the solution. Inside that neighborhood we show that OMWU becomes a contracting map converging to the exact solution. We believe that our techniques will be useful in the analysis of the last iterate of other learning algorithms.

研究动机与目标

• 为解决GAN训练中的不稳定性与极限环振荡问题，尤其是Wasserstein GAN中的问题。
• 开发一种训练算法，确保最终迭代收敛至均衡点，而不仅仅是平均收敛。
• 在生成建模中提升样本质量和分布相似性。
• 将乐观思想扩展至自适应优化器（如Adam），以提升GAN性能。
• 提供理论与实证证据，证明OMD在简单与复杂生成任务中均优于GD及其变体。

提出的方法

• 将乐观镜面下降（OMD）应用于GAN训练，利用对手更新的预测以改善收敛性。
• 提出乐观Adam，一种引入前瞻预测的Adam乐观变体。
• 采用双线性零和博弈动态，理论分析OMD与GD的收敛行为。
• 使用梯度惩罚和权重初始化以稳定WGAN中的训练过程。
• 在DNA序列生成与CIFAR10图像生成任务上进行实验，比较OMD与GD变体的性能。
• 通过KL散度（DNA任务）与Inception分数（CIFAR10任务）进行定量评估。

实验结果

研究问题

• RQ1 OMD是否能在双线性零和博弈中实现最终迭代收敛，而标准GD无法做到？
• RQ2 OMD是否能消除GAN训练中的极限环振荡，即使在复杂且非凸的目标函数下？
• RQ3 乐观思想是否能提升真实世界生成建模任务（如DNA序列生成）的性能？
• RQ4 乐观Adam是否在CIFAR10图像生成任务中优于标准Adam？
• RQ5 在简单分布学习设置中，OMD与GD的动力学行为有何定性差异？

主要发现

• OMD在双线性零和博弈中收敛至均衡点，而GD表现出持续的极限环振荡。
• 在简单的均值估计任务中，OMD实现逐点收敛，而GD即使在引入梯度惩罚或动量后仍持续循环。
• 在DNA序列生成任务中，OMD训练的模型始终表现出比GD变体更低的KL散度。
• 乐观Adam在CIFAR10上的Inception分数高于标准Adam，且训练比例为1:1。
• 理论分析表明，OMD的遗憾率更快，且在最坏情况下的收敛保证优于基于FTRL的GD变体。
• 实证结果证实，最终迭代收敛是可实现的，并且对GAN训练的稳定性和性能具有显著益处。