[论文解读] A gradual, semi-discrete approach to generative network training via explicit Wasserstein minimization

Yucheng Chen, Matus Telgarsky+4 more|arXiv (Cornell University)|Jun 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 4

一句话总结

本文提出了一种新颖的非对抗性生成建模方法，通过交替执行最优传输映射与回归，显式最小化生成器输出与目标分布之间的Wasserstein距离。通过在连续生成器输出的半离散设置下进行操作，该方法实现了对经验与总体Wasserstein距离的可证明最小化，在MNIST和Thin-8数据集上表现出最先进性能，同时提升了泛化能力与模式覆盖度。

ABSTRACT

This paper provides a simple procedure to fit generative networks to target distributions, with the goal of a small Wasserstein distance (or other optimal transport costs). The approach is based on two principles: (a) if the source randomness of the network is a continuous distribution (the "semi-discrete" setting), then the Wasserstein distance is realized by a deterministic optimal transport mapping; (b) given an optimal transport mapping between a generator network and a target distribution, the Wasserstein distance may be decreased via a regression between the generated data and the mapped target points. The procedure here therefore alternates these two steps, forming an optimal transport and regressing against it, gradually adjusting the generator network towards the target distribution. Mathematically, this approach is shown to minimize the Wasserstein distance to both the empirical target distribution, and also its underlying population counterpart. Empirically, good performance is demonstrated on the training and testing sets of the MNIST and Thin-8 data. The paper closes with a discussion of the unsuitability of the Wasserstein distance for certain tasks, as has been identified in prior work [Arora et al., 2017, Huang et al., 2017].

研究动机与目标

• 开发一种非对抗性、交替进行的算法，显式最小化生成网络输出与目标数据分布之间的Wasserstein距离。
• 解决批次间最优传输近似方法的局限性，这些方法因采样偏差而无法最小化真实的Wasserstein距离。
• 通过建立在维度上为多项式而非指数的界，确保对底层数据分布的泛化能力，而不仅限于经验训练集。
• 与GAN和VAE相比，展示在模式覆盖度与分布保真度方面的改进性能，尤其在Thin-8等具有挑战性的数据集上。
• 探讨低Wasserstein距离与图像清晰度之间的权衡，并提出通过感知损失或对抗正则化等方法进行补救。

提出的方法

• 该方法交替执行两个步骤：最优传输求解器（OTS），在半离散设置下计算当前生成器输出分布与目标分布之间的确定性最优传输映射。
• FIT步骤通过标准回归技术，利用最优传输映射定义的目标点，对生成器网络进行回归更新，以将生成样本向目标点移动。
• 半离散公式确保最优传输为确定性且精确，避免了批次间传输近似中固有的偏差。
• 该过程是渐进式的，逐步将生成器输出分布变形为接近目标分布，实证表明这能带来更好的泛化能力与更平滑的流形。
• 通过三角不等式与浓度不等式建立理论保证，表明该方法能最小化与经验数据集及底层总体分布之间的Wasserstein距离。
• 该方法应用于MNIST、CIFAR10和具有挑战性的Thin-8数据集，并与GAN和VAE进行比较，以Wasserstein-1距离作为评估指标。

实验结果

研究问题

• RQ1 非对抗性、交替进行的算法能否显式最小化生成模型输出与目标分布之间的Wasserstein距离？
• RQ2 最优传输的半离散公式是否能实现精确且确定性的映射，从而避免批次间近似的偏差？
• RQ3 渐进式、迭代式优化过程是否能带来对底层数据分布的更好泛化，而不仅限于训练集？
• RQ4 与基于GAN的方法相比，最小化Wasserstein距离如何影响模式覆盖度与视觉质量？
• RQ5 在图像清晰度方面，Wasserstein最小化存在哪些局限性，如何加以缓解？

主要发现

• 在CIFAR10上，该方法实现了最低的Wasserstein-1距离（655），优于WGAN-GP（849）和VAE（745），表明其具有更优的分布对齐能力。
• 在MNIST和Thin-8上，该方法生成的数字在定性上优于基线模型，且在训练集与测试集上均表现出一致性能。
• 由于遗漏模式的运输成本极高，该方法自然地防止了模式崩溃，从而实现了对数据分布模式的更好覆盖。
• 尽管生成样本的模糊度低于GAN，但该方法仍保持最低的Wasserstein距离，表明最小化像素级传输成本具有正则化效应。
• 理论分析表明，该方法能最小化与经验数据集及底层总体分布之间的Wasserstein距离，且其界在维度上为多项式而非指数。
• 作者推测，通过像素级度量最小化Wasserstein距离会诱导模式覆盖偏差，因此建议未来工作结合感知损失或对抗损失以提升图像清晰度。