[论文解读] BEGAN: Boundary Equilibrium Generative Adversarial Networks

David Berthelot, Thomas Schumm+1 more|arXiv (Cornell University)|Mar 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 744

一句话总结

BEGAN 引入了带边界平衡机制的自编码器鉴别器，用以平衡生成器和鉴别器，推导出基于 Wasserstein 的损失以及用于稳定、高质量图像生成的收敛度量。

ABSTRACT

We propose a new equilibrium enforcing method paired with a loss derived from the Wasserstein distance for training auto-encoder based Generative Adversarial Networks. This method balances the generator and discriminator during training. Additionally, it provides a new approximate convergence measure, fast and stable training and high visual quality. We also derive a way of controlling the trade-off between image diversity and visual quality. We focus on the image generation task, setting a new milestone in visual quality, even at higher resolutions. This is achieved while using a relatively simple model architecture and a standard training procedure.

研究动机与目标

• 提出一个稳定的 GAN 框架，以缓解训练不稳定性和模式坍缩。
• 提出一个平衡训练中生成器与鉴别器的平衡机制。
• 开发一个基于应用于自编码器重构误差的 Wasserstein 距离下界的损失函数。
• 引入一个收敛度量并分析如何在图像多样性与视觉质量之间进行控制。
• 展示使用简单架构的高质量、高分辨率图像生成。

提出的方法

• 将自编码器作为鉴别器（EBGAN 风格）。
• 定义自编码器重构损失 L(v)=|v−D(v)|^η，其中 η∈{1,2}。
• 推导自编码器损失分布之间的 Wasserstein 距离下界，并对鉴别器最大化该下界。
• 引入一个平衡项和多样性比 γ，以平衡真实图像重构和伪造图像重构。
• 实现带有控制变量 k_t 的边界平衡 GAN（BEGAN）目标，更新公式为 k_{t+1}=k_t+λ_k(γL(x)−L(G(z))）。
• 提供全局收敛度量 M_global = L(x) + |γL(x) − L(G(z_G))|，并讨论其在监测训练中的用途。

实验结果

研究问题

• RQ1 基于自编码器的鉴别器配合平衡控制器是否能为 GAN 提供稳定且快速的收敛？
• RQ2 通过 γ 与 k_t 的反馈实现的平衡如何影响图像多样性与视觉质量？
• RQ3 基于 Wasserstein 距离的自编码器损失下界是否可作为 GAN 训练的有效收敛代理？
• RQ4 BEGAN 在从 32×32 到 256×256 的分辨率下在稳定性与真实感方面的表现如何？
• RQ5 维持平衡对避免模式坍缩和提升样本质量有何影响？

主要发现

• BEGAN 在没有复杂的交替训练程序的情况下实现了稳定且快速的训练。
• γ-多样性控制允许在图像多样性与视觉质量之间进行显式权衡。
• 全局收敛度量 M_global 与图像保真度相关，且观察到快速收敛。
• 定性结果显示在 CelebA 类数据上得到高质量、连贯的高分辨率图像，且具有多样化的姿态与表情。
• 实验表明通过平衡维护对不平衡网络具有鲁棒性。
• 类似Inception分数的评估表明在无监督设置下，与若干 GAN 变体相比具有竞争力或更有利的表现。