[论文解读] Metric Learning-based Generative Adversarial Network

Zi-Yi Dou|arXiv (Cornell University)|Nov 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 6

一句话总结

本文提出基于度量学习的生成对抗网络（MLGAN），这是一种新型 GAN 框架，其中判别器动态学习一个距离度量以衡量真实样本与生成样本之间的相似性，而生成器则最小化该学习到的度量。与最先进 GAN 相比，MLGAN 在图像质量方面表现更优，训练稳定性也有所提升，使用相同架构在 CIFAR-10 上 Inception 分数最高达 6.279，在 SVHN 上达 3.296。

ABSTRACT

Generative Adversarial Networks (GANs), as a framework for estimating generative models via an adversarial process, have attracted huge attention and have proven to be powerful in a variety of tasks. However, training GANs is well known for being delicate and unstable, partially caused by its sig- moid cross entropy loss function for the discriminator. To overcome such a problem, many researchers directed their attention on various ways to measure how close the model distribution and real distribution are and have applied dif- ferent metrics as their objective functions. In this paper, we propose a novel framework to train GANs based on distance metric learning and we call it Metric Learning-based Gener- ative Adversarial Network (MLGAN). The discriminator of MLGANs can dynamically learn an appropriate metric, rather than a static one, to measure the distance between generated samples and real samples. Afterwards, MLGANs update the generator under the newly learned metric. We evaluate our ap- proach on several representative datasets and the experimen- tal results demonstrate that MLGANs can achieve superior performance compared with several existing state-of-the-art approaches. We also empirically show that MLGANs could increase the stability of training GANs.

研究动机与目标

• 为解决标准 GAN 中固有的不稳定性和训练困难问题，特别是梯度消失和判别器优化不佳的问题。
• 通过用动态学习的距离度量替代静态损失函数，改进生成器训练的目标函数。
• 通过使判别器学习特定任务的度量而非依赖固定损失函数，提升 GAN 训练的稳定性。
• 证明度量学习可作为生成建模中对抗训练更稳健、更有效的目标。
• 通过将判别器的角色从分类重新定义为度量学习，为 GAN 训练提供新视角。

提出的方法

• MLGAN 中的判别器被训练为学习真实样本与生成样本之间的距离度量，而非执行二分类任务。
• 通过度量学习技术学习该度量，使判别器能够自适应地测量潜在空间中的相似性。
• 生成器通过最小化判别器所学习到的度量下真实样本与生成样本之间的距离进行更新。
• 该框架采用与 WGAN 加梯度惩罚相同的模型架构，但对损失函数进行了修改以整合度量学习。
• 应用两种正则化技术——权重裁剪和中心惩罚——以约束判别器的度量学习过程。
• 通过在 SVHN 和 CIFAR-10 上使用 Inception 分数评估方法，并对不同训练策略进行消融研究。

实验结果

研究问题

• RQ1 动态学习的距离度量能否提升 GAN 训练的稳定性和性能？
• RQ2 用学习到的度量替代标准 GAN 损失是否能提升样本质量并减少模式崩溃？
• RQ3 在 Inception 分数和训练动态方面，MLGAN 与最先进 GAN（如 WGAN 和 LSGAN）相比表现如何？
• RQ4 在不牺牲性能的前提下，能否将 GAN 中判别器的角色从分类重新定义为度量学习？
• RQ5 不同正则化策略（如权重裁剪与中心惩罚）对度量学习过程及最终生成质量有何影响？

主要发现

• 在 SVHN 上，MLGAN 的 Inception 分数为 3.296 ± 0.17，优于使用梯度惩罚的 WGAN（3.129 ± 0.20）及其他基线模型。
• 在 CIFAR-10 上，采用中心惩罚的 MLGAN 实现了 6.279 ± 0.33 的 Inception 分数，超过使用梯度惩罚的 WGAN（6.069 ± 0.33）。
• 即使是最简单的 MLGAN 变体也避免了训练过程中的模式崩溃，而 DCGAN 在 SVHN 和 CIFAR-10 上均完全失败。
• 使用中心惩罚正则化在两个数据集上均使所有模型的 Inception 分数达到最高，表明度量泛化能力得到提升。
• MLGAN 展现出更高的训练稳定性，由于学习到的度量，生成器获得了更一致且有意义的梯度。
• 结果表明，在 MLGAN 中使判别器达到最优训练是可行且有益的，解决了标准 GAN 中一个关键的不稳定性问题。