[论文解读] Finding Mixed Nash Equilibria of Generative Adversarial Networks

Ya-Ping Hsieh, Chen Liu+1 more|arXiv (Cornell University)|Oct 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 17

一句话总结

该论文提出了一种新颖的算法框架，用于训练生成对抗网络（GANs），将训练过程建模为寻找混合纳什均衡的无限维双人博弈，利用具有可证明收敛速率的近端方法。通过SGLD将这些方法简化为高效的采样过程，在合成数据集和真实图像生成任务中，性能和稳定性均优于SGD、Adam和RMSProp。

ABSTRACT

We reconsider the training objective of Generative Adversarial Networks (GANs) from the mixed Nash Equilibria (NE) perspective. Inspired by the classical prox methods, we develop a novel algorithmic framework for GANs via an infinite-dimensional two-player game and prove rigorous convergence rates to the mixed NE, resolving the longstanding problem that no provably convergent algorithm exists for general GANs. We then propose a principled procedure to reduce our novel prox methods to simple sampling routines, leading to practically efficient algorithms. Finally, we provide experimental evidence that our approach outperforms methods that seek pure strategy equilibria, such as SGD, Adam, and RMSProp, both in speed and quality.

研究动机与目标

• 为解决由于纯策略均衡不适定而导致的GAN训练长期存在的不稳定与非收敛问题。
• 将GAN训练重新表述为寻找混合纳什均衡的问题，以确保解的存在性和适定性。
• 将经典近端方法扩展至任意架构GAN的无限维策略空间。
• 通过利用SGLD将近端更新简化为采样任务，开发出一种实用且高效的算法，最大限度减少计算开销。
• 通过实证方法证明，与SGD、Adam和RMSProp等标准优化器相比，该算法在收敛速度和样本质量方面表现更优。

提出的方法

• 将GAN训练建模为在概率测度上的无限维双人博弈，寻求混合纳什均衡而非纯策略。
• 将近端方法（镜像下降与镜像-近端）适配至无限维策略空间，证明其收敛至混合纳什均衡的速率。
• 通过随机梯度朗之万动力学（SGLD）将近端更新简化为采样任务，实现实际应用。
• 采用自适应调度策略调节SGLD参数（步数、步长、噪声），在训练过程中平衡探索与精度。
• 引入阻尼因子和指数衰减调度策略调整超参数，以稳定学习并提升收敛性。
• 在SGLD采样中排除批量归一化层，以避免参数依赖，保持理论一致性。

实验结果

研究问题

• RQ1 与纯策略均衡相比，混合纳什均衡是否能为GAN训练提供更稳定且适定的公式化？
• RQ2 近端方法能否在具有任意架构的GAN中严格扩展至无限维策略空间？
• RQ3 所得到的近端更新能否在不牺牲收敛保证的前提下，高效地简化为采样过程？
• RQ4 所提出的算法是否在收敛速度和样本质量方面优于SGD、Adam和RMSProp等标准优化器？
• RQ5 该算法能否在合成数据集和真实数据集中避免模式崩溃，并收敛至高质量、多样化的样本？

主要发现

• 在包含8个和25个高斯混合的合成数据集上，所提出的镜像-GAN与镜像-近端-GAN算法在收敛速度和样本质量方面均优于SGD、Adam和RMSProp。
• 在Swiss Roll数据集上，镜像-GAN与镜像-近端-GAN成功捕捉了底层流形结构，并避免了模式崩溃。
• 在LSUN Bedroom数据集上，Adam在80,000次迭代后出现严重模式崩溃，而镜像-GAN在整个训练过程中始终保持高质量生成。
• 采用RMSProp预处理SGLD的镜像-GAN优于原始RMSProp，证明了基于采样的更新策略的优势。
• 该算法始终能找到无偏的模式，并完整捕捉复杂分布的方差，而基线优化器常会陷入次优局部极小值。
• 自适应SGLD调度策略通过在早期迭代中增强探索性、在后期阶段提升精度，显著改善了收敛性。