[论文解读] Generative Minimization Networks: Training GANs Without Competition

Paulina Grnarova, Yannic Kilcher+3 more|arXiv (Cornell University)|Mar 23, 2021

Artificial Intelligence in Games参考文献 45被引用 7

一句话总结

本文提出生成最小化网络（GMN），一种新型 GAN 训练目标，用基于对偶间隙（DG）的最小化问题替代对抗性极小-极大博弈。通过将对偶间隙作为单一目标进行优化，该方法可使用标准梯度下降实现稳定、收敛的训练，消除了循环行为，并提高了对超参数的鲁棒性，实验结果表明其在 inception 分数上达到最先进水平，且训练曲线稳定。

ABSTRACT

Many applications in machine learning can be framed as minimization problems and solved efficiently using gradient-based techniques. However, recent applications of generative models, particularly GANs, have triggered interest in solving min-max games for which standard optimization techniques are often not suitable. Among known problems experienced by practitioners is the lack of convergence guarantees or convergence to a non-optimum cycle. At the heart of these problems is the min-max structure of the GAN objective which creates non-trivial dependencies between the players. We propose to address this problem by optimizing a different objective that circumvents the min-max structure using the notion of duality gap from game theory. We provide novel convergence guarantees on this objective and demonstrate why the obtained limit point solves the problem better than known techniques.

研究动机与目标

• 解决标准 GAN 训练中由于极小-极大博弈结构导致的不稳定性和缺乏收敛性问题。
• 用基于对偶间隙（DG）的最小化目标替代对抗性极小-极大目标，以提升优化稳定性。
• 在标准 GAN 假设下，为新目标提供理论收敛保证。
• 实现对生成器和判别器无需分别设置学习率的鲁棒训练。
• 提供可解释的训练曲线（如 DG 训练/验证曲线），用于监控训练进度并避免过拟合。

提出的方法

• 将 GAN 目标重新表述为最小化对偶间隙（DG），一种衡量与纳什均衡距离的游戏理论指标。
• 对生成器和判别器参数同时使用梯度下降优化 DG 目标，将极小-极大博弈转化为联合最小化问题。
• 引入超参数 $ k $，表示每轮训练步骤中的优化步数，以平衡稳定性与收敛速度。
• 对 DG 目标应用自适应优化方法（如 Adam），利用其曲率特性实现更快收敛。
• 在训练集和验证集上计算 DG，以监控泛化能力，类似于标准优化中的做法。
• 将 DG 作为 GAN 性能的代理指标，DG 越低表示越接近最优解的收敛。

实验结果

研究问题

• RQ1 对偶间隙能否作为 GAN 的稳定单目标训练信号，替代对抗性极小-极大博弈？
• RQ2 最小化对偶间隙是否相比标准 GAN 训练（使用梯度下降-上升）能带来更好的收敛性和稳定性？
• RQ3 DG 目标能否使用标准最小化技术进行优化，并具备强收敛保证？
• RQ4 基于 DG 的训练是否能降低对超参数选择的敏感性，如生成器与判别器分别设置学习率？
• RQ5 基于 DG 的训练曲线（训练与验证）能否有效监控模型性能并防止过拟合？

主要发现

• 所提出的生成最小化网络（GMN）在 CIFAR10 上使用 $ k=10 $ 时达到 22.14 的 Fréchet Inception 距离，优于使用 Adam 训练的标准 GAN。
• 在 MNIST 上，DG 方法在 $ k=25 $ 时取得 9.01 的 inception 分数，接近真实数据的 9.9 分数，表明生成样本质量高。
• 当 $ k=1 $ 时训练出现发散，但将 $ k $ 增加至 10 后训练趋于稳定，对偶间隙降至 0.24，且 $ k>10 $ 后改善有限。
• DG 基于的训练曲线（DG 训练与 DG 验证）在整个训练过程中保持接近，表明无过拟合并具有一致的泛化能力。
• 该方法消除了标准 GAN 中常见的循环行为，并避免收敛至较差的局部最优解，如图 13 所示的特征值与路径角度分析所证实。
• 理论分析表明，该算法的极限点收敛至零散度点，且在标准 GAN 假设下推导出了收敛速率。