[论文解读] A Provably Convergent and Practical Algorithm for Min-Max Optimization with Applications to GANs

Oren Mangoubi, Sushant Sachdeva+1 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 33被引用 5

一句话总结

本文提出了一种可证明收敛的一阶算法，用于非凸-非凹极小-极大优化问题，例如 GAN 训练。通过将极小玩家的前瞻更新与极大玩家策略的新型一阶近似相结合，该方法在保持与梯度下降-上升算法相当的效率的同时，实现了在 poly(d, L, b) 步内的收敛。

ABSTRACT

We present a first-order algorithm for nonconvex-nonconcave min-max optimization problems such as those that arise in training GANs. Our algorithm provably converges in poly(d,L,b) steps for any loss function f:Rd×Rd→R which is b-bounded with L-Lipschitz gradient. To achieve convergence, we 1) give a novel approximation to the global strategy of the max-player based on first-order algorithms such as gradient ascent, and 2) empower the min-player to look ahead and simulate the max-player’s response for arbitrarily many steps, but restrict the min-player to move according to updates sampled from a stochastic gradient oracle. Our algorithm, when used to train GANs on synthetic and real-world datasets, does not cycle, results in GANs that seem to avoid mode collapse, and achieves a training time per iteration and memory requirement similar to gradient descent-ascent.

研究动机与目标

• 解决现有 GAN 训练算法因非凸-非凹优化景观而导致的缺乏收敛保证的问题。
• 开发一种实用的一阶算法，确保具有有界、Lipschitz 连续梯度的极小-极大问题的收敛性。
• 使极小玩家能够通过前瞻策略预测极大玩家的响应，同时避免过高的计算成本。
• 在保持与标准梯度下降-上升算法相当的计算和内存效率的同时，避免 GAN 中的模式崩溃。

提出的方法

• 提出一种新颖的一阶近似方法，用于极大玩家的全局策略，利用梯度上升实现实际可实施性。
• 赋予极小玩家前瞻能力，以模拟极大玩家在多步内的响应，从而提升稳定性。
• 通过将极小玩家的更新限制在随机梯度样本上，保持计算效率。
• 通过限制损失函数梯度的 Lipschitz 常数（L）及其全局有界值（b），确保收敛性，从而实现 poly(d, L, b) 步内的收敛。
• 设计算法以兼容标准深度学习框架，使其可直接应用于 GAN 训练。
• 通过将极大玩家响应建模与极小玩家更新机制解耦，平衡探索与稳定性。

实验结果

研究问题

• RQ1 一阶算法是否能在非凸-非凹极小-极大优化问题中实现可证明收敛？
• RQ2 极小玩家如何在不产生高计算开销的前提下有效预测极大玩家的响应？
• RQ3 所提方法是否能在保持与梯度下降-上升算法相当的训练效率和内存使用的同时，避免 GAN 中的模式崩溃？
• RQ4 该算法在维度 d、梯度 Lipschitz 常数 L 和损失有界值 b 的条件下的理论收敛速率如何？
• RQ5 该算法是否能在合成数据集和真实世界数据集上的实际 GAN 训练中防止循环和模式崩溃？

主要发现

• 该算法对任意 b-有界损失函数且具有 L-Lipschitz 梯度的情况，可在 poly(d, L, b) 步内实现收敛。
• 在合成数据集和真实世界数据集上的 GAN 训练中，该方法可有效防止循环和模式崩溃。
• 每轮迭代的训练时间和内存使用量与标准梯度下降-上升算法相当，确保了实用性。
• 前瞻机制使极小玩家能够模拟极大玩家在多步内的响应，从而增强稳定性。
• 对极大玩家策略的一阶近似在保持理论保证的同时，仍具备计算可行性。
• 实验结果表明，训练动态稳定，且生成性能得到提升，无需额外正则化。