[论文解读] Improving GANs Using Optimal Transport

Tim Salimans, Han Zhang+2 more|arXiv (Cornell University)|Mar 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 46

一句话总结

OT-GAN 引入了一个 mini-batch 能量距离，将原始形式的最优传输与对抗性学习的特征空间结合起来，以更稳定地训练 GAN，在多个基准数据集上达到最先进的结果。

ABSTRACT

We present Optimal Transport GAN (OT-GAN), a variant of generative adversarial nets minimizing a new metric measuring the distance between the generator distribution and the data distribution. This metric, which we call mini-batch energy distance, combines optimal transport in primal form with an energy distance defined in an adversarially learned feature space, resulting in a highly discriminative distance function with unbiased mini-batch gradients. Experimentally we show OT-GAN to be highly stable when trained with large mini-batches, and we present state-of-the-art results on several popular benchmark problems for image generation.

研究动机与目标

• 将生成建模动机建立在一个判别性、无偏的 mini-batch 距离，用于衡量生成分布与数据分布之间的差异。
• 提出一种新的 Mini-batch Energy Distance，将原始最优传输与对抗性学习的特征空间相结合。
• 通过在学习的潜在空间中对传输成本进行对抗性学习，以提高判别力和训练稳定性，发展 OT-GAN。
• 在标准基准上展示最先进的性能，并分析稳定性与模式多样性。

提出的方法

• 将 Mini-batch Energy Distance D2_MED(p, g) 定义为一个平方距离，结合带有 entropy 正则化的 Sinkhorn（小批量 OT）与在学习的特征空间中的能量距离样的项。
• 将传输成本 cη(x, y) 学习为由神经评判器生成的归一化嵌入 vη(x) 与 vη(y) 的余弦距离，并最大化所得的小批量能量距离。
• 以交替梯度更新训练生成器和对抗性传输成本评判器；更频繁地更新生成器以防止评判器退化。
• 通过 Sinkhorn 算法计算匹配矩阵，而不对其进行反向传播（包络定理的证明）。
• 通过将附加信息 S 纳入小批量计算来扩展到条件生成（算法 2）。
• 为 CIFAR-10 实验提供架构和训练细节，包括生成器/判别器设计和优化设置。

实验结果

研究问题

• RQ1 将原始形式的最优传输与对抗性学习的特征空间相结合，是否能为训练 GAN 提供一个具辨别力且无偏差的 mini-batch 距离？
• RQ2 在标准基准上（如 CIFAR-10、ImageNet Dogs）以及在大 mini-batch 情况下，OT-GAN 是否相比基线提升稳定性和样本质量？
• RQ3 相对于固定成本或随机匹配基线，对传输成本函数进行对抗性学习如何影响性能和鲁棒性？
• RQ4 OT-GAN 能否缓解模式崩溃并在具有挑战性的数据集上长时间训练中维持多样性？

主要发现

方法	Inception 分数
Real Data	11.95 ± .12
DCGAN	6.16 ± .07
Improved GAN	6.86 ± .06
Denoising FM	7.72 ± .13
WGAN-GP	7.86 ± .07
OT-GAN	8.47 ± .12

• OT-GAN 在 CIFAR-10 上达到最先进的 Inception 分数（8.47 ± 0.12），相比基线。
• 使用大批量时，OT-GAN 显示出更好的训练稳定性和模式覆盖，避免在玩具数据和真实数据实验中的崩溃。
• 对传输成本进行对抗性学习显著优于固定成本或随机匹配变体，强调了学习成本函数的重要性。
• 在 ImageNet Dogs 上，OT-GAN 获得更高的 Inception 分数（8.97 ± 0.09），优于经过调优的 DCGAN 变体，表明图像质量更高。
• 条件 OT-GAN 在 CUB 文本到图像任务上获得更高的 Inception 分数（3.84 ± 0.05），超越若干先前方法。