[论文解读] Instability and Local Minima in GAN Training with Kernel Discriminators

Evan Becker, Parthe Pandit+2 more|arXiv (Cornell University)|Aug 21, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出孤立点模型以分析基于核判别器的 GAN 训练，表明局部稳定性取决于每个区域中过剩的点质量。研究证明精确模式崩溃在理论上不可能发生，但因核宽度和初始扰动的存在，近似模式崩溃与发散可能发生，为 GAN 常见失败模式提供了理论洞见。

ABSTRACT

Generative Adversarial Networks (GANs) are a widely-used tool for generative modeling of complex data. Despite their empirical success, the training of GANs is not fully understood due to the min-max optimization of the generator and discriminator. This paper analyzes these joint dynamics when the true samples, as well as the generated samples, are discrete, finite sets, and the discriminator is kernel-based. A simple yet expressive framework for analyzing training called the $ extit{Isolated Points Model}$ is introduced. In the proposed model, the distance between true samples greatly exceeds the kernel width, so each generated point is influenced by at most one true point. Our model enables precise characterization of the conditions for convergence, both to good and bad minima. In particular, the analysis explains two common failure modes: (i) an approximate mode collapse and (ii) divergence. Numerical simulations are provided that predictably replicate these behaviors.

研究动机与目标

• 理解基于核判别器的 GAN 训练中的不稳定性与收敛性问题。
• 识别在离散有限设置下，训练收敛至良好或不良均衡的条件。
• 解释两种常见失败模式：近似模式崩溃与发散。
• 研究核宽度在决定训练稳定性与收敛性中的作用。
• 提供一个理论上可处理的模型，以捕捉 GAN 动力学中的关键现象。

提出的方法

• 孤立点模型假设真实样本与生成样本为足够分离的离散有限集合，使得每个生成点最多与一个真实点相互作用。
• 判别器基于核函数，使用基于距离的核函数，并通过线性参数化实现。
• 通过过剩点质量分析稳定性，定义为每个孤立区域中真实质量与生成质量的差值。
• 通过梯度动力学与核相互作用，理论推导出局部收敛至真实点的必要与充分条件。
• 数值模拟验证了理论预测，在受控条件下复现了近似模式崩溃与发散。
• 实验对比了基于核的判别器与深层 ReLU 网络，发现网络深度与有效核宽度及收敛行为相关。

实验结果

研究问题

• RQ1 在孤立点模型中，GAN 训练在何种条件下会局部收敛至真实点？
• RQ2 为何在此基于核的 GAN 框架中，精确模式崩溃在理论上被证明不可能发生？
• RQ3 在何种条件下会发生近似模式崩溃，即大量过剩的生成质量集中在某个真实点附近？
• RQ4 为何单个生成点可能在无外部作用力的情况下，仍会远离所有真实点？
• RQ5 核宽度如何影响 GAN 训练中模式崩溃与发散的可能性？

主要发现

• 在孤立点模型下，所有生成点集中于单个真实点的精确模式崩溃在理论上被证明不可能发生。
• 当过剩的生成质量集中在某个真实点附近时，即使过剩量极大，近似模式崩溃仍可作为局部稳定均衡出现。
• 当生成点受到扰动并锁定于远离所有真实点的轨迹时，发散可能发生，其驱动力仅来自其自身的核历史。
• 更宽的核宽度会降低模式的隔离性，增加近似模式崩溃与发散的可能性，但同时因难以区分邻近点而减缓收敛速度。
• 具有更大深度的神经网络判别器可产生更小的有效核宽度，从而改善收敛性并减少振荡，与理论模型中的核宽度效应一致。
• 数值模拟证实，该模型可预测性地在不同初始条件与核参数下复现近似模式崩溃与发散。