[论文解读] Towards Principled Methods for Training Generative Adversarial Networks

Martín Arjovsky, Léon Bottou|arXiv (Cornell University)|Jan 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 355

一句话总结

这篇论文分析GAN的训练动态，解释不稳定性和梯度消失的来源，并提出一种通过更柔和的度量和噪声来稳定训练的基于原理的方法。它给出关于低维支持下判别器行为的理论结果，并引入基于噪声的策略以改善对生成器的梯度信号。

ABSTRACT

The goal of this paper is not to introduce a single algorithm or method, but to make theoretical steps towards fully understanding the training dynamics of generative adversarial networks. In order to substantiate our theoretical analysis, we perform targeted experiments to verify our assumptions, illustrate our claims, and quantify the phenomena. This paper is divided into three sections. The first section introduces the problem at hand. The second section is dedicated to studying and proving rigorously the problems including instability and saturation that arize when training generative adversarial networks. The third section examines a practical and theoretically grounded direction towards solving these problems, while introducing new tools to study them.

研究动机与目标

• 解释为什么GAN训练不稳定，以及随着判别器变得更强，基于判别器更新的效果为何会下降。
• 表征使用原始GAN目标函数与 -log D 替代在梯度行为上的影响。
• 提出一种通过更柔和的散度和基于噪声的正则化来解决不稳定性的有原则的方法。
• 提供用于研究和改进GAN训练动态的理论结果与实用工具。

提出的方法

• 建模判别器的最优性及其在互不相交或低维支持下对生成器梯度的影响。
• 证明完美判别定理，表明最优的D在数据/支持区域可以达到准确率1且梯度为零。
• 分析在原始GAN目标下以及在 -log D 替代下的梯度消失现象。
• 向输入（以及生成样本）引入噪声以平滑分布，并推导在有噪声的分布下的梯度表达式。
• 表明有噪声的表述使生成器更新与一个柔和的散度目标对齐（带噪声分布的JSD）。
• 提出通过转向更柔和的度量和联合噪声注入来平滑优化景观，从而实现稳定化的实用路径。

实验结果

研究问题

• RQ1 为什么随着判别器变得更强，GAN生成器的更新会退化？
• RQ2 在什么条件下，原始的GAN目标和 -log D 替代会产生梯度消失或不稳定？
• RQ3 更柔和的度量或输入/输出噪声能否稳定GAN训练并为生成器提供更可靠的梯度信号？
• RQ4 低维支持和完美判别器如何影响训练动态及所使用的散度？
• RQ5 哪些理论工具可以量化并指导对带有噪声/离散化分布的GAN训练的稳定化？

主要发现

• GAN中的分布往往位于低维流形上，使得在支持集上可以存在一个梯度为零的完美判别器。
• 在互不相交或低维的支持下，最优判别器的准确率可以为1且几乎处处梯度为零，使用原始目标时会导致生成器梯度消失。
• 使用 -log D 目标会带来不稳定的更新，因为与KL和JSD的关系呈现反向，并且在近似理想的判别器下，梯度可能因噪声而爆炸。
• 向输入（以及生成样本）加入连续噪声可平滑分布，产生非退化梯度，并使更新与带噪声分布之间的柔和散度对齐。
• 带噪声的判别器框架导致梯度更新将样本向数据流形移动，同时抑制过于可能的生成样本，促进稳定化。
• 逐步降低噪声水平有助于生成器和判别器通过一个柔和的JSD目标逐步匹配真实数据分布。