[论文解读] Mode Collapse and Regularity of Optimal Transportation Maps

Na Lei, Yang Guo+5 more|arXiv (Cornell University)|Feb 8, 2019

Hydrology and Drought Analysis参考文献 25被引用 22

一句话总结

本文通过最优传输映射在数据分布支撑集非凸时的不连续性，将生成对抗网络（GAN）中的模式崩溃问题与Monge-Ampère方程正则性理论联系起来。该文提出通过离散Brenier理论学习连续的Brenier势函数，而非不连续的传输映射，从而在不发生模式崩溃的情况下实现完整模式覆盖，在CelebA数据集上实现了5倍加速，并在AE-OT框架下提升了稳定性。

ABSTRACT

This work builds the connection between the regularity theory of optimal transportation map, Monge-Ampère equation and GANs, which gives a theoretic understanding of the major drawbacks of GANs: convergence difficulty and mode collapse. According to the regularity theory of Monge-Ampère equation, if the support of the target measure is disconnected or just non-convex, the optimal transportation mapping is discontinuous. General DNNs can only approximate continuous mappings. This intrinsic conflict leads to the convergence difficulty and mode collapse in GANs. We test our hypothesis that the supports of real data distribution are in general non-convex, therefore the discontinuity is unavoidable using an Autoencoder combined with discrete optimal transportation map (AE-OT framework) on the CelebA data set. The testing result is positive. Furthermore, we propose to approximate the continuous Brenier potential directly based on discrete Brenier theory to tackle mode collapse. Comparing with existing method, this method is more accurate and effective.

研究动机与目标

• 通过最优传输理论解释GAN收敛困难与模式崩溃的根本原因。
• 检验假设：真实数据分布的支撑集具有非凸性，导致最优传输映射不连续。
• 提出一种新方法，通过近似连续的Brenier势函数而非不连续的传输映射，以克服模式崩溃。
• 在CelebA数据集上使用AE-OT模型验证理论框架。
• 与现有GAN方法相比，展示改进的训练稳定性和模式覆盖度。

提出的方法

• 形式化建立了GAN、最优传输映射与Monge-Ampère方程之间的联系，表明当目标测度的支撑集非凸时，会生成不连续的映射。
• 提出通过离散Brenier理论学习Brenier势函数——一种凸的、连续的函数，该函数可由深度神经网络表示。
• 使用自编码器将真实数据映射到潜在空间，然后在潜在空间中计算从均匀噪声到编码数据分布的最优传输映射。
• 采用基于凸优化的离散OT算法计算传输映射，确保稳定性和收敛性。
• 通过组合传输映射与解码器映射生成样本，生成可揭示奇点集的形态变换序列。
• 通过在25模式合成数据集和CelebA上与PacGAN对比模式覆盖度与样本真实性，验证该方法。

实验结果

研究问题

• RQ1 为何GAN在实践中会出现模式崩溃与收敛困难？
• RQ2 最优传输映射的不连续性是否为这些GAN失败的根本原因？
• RQ3 深度神经网络能否有效学习连续的Brenier势函数以避免模式崩溃？
• RQ4 真实数据分布的潜在空间支撑集是否通常非凸，从而导致不可避免的不连续性？
• RQ5 学习Brenier势函数而非传输映射是否能带来更好的模式覆盖度与样本质量？

主要发现

• AE-OT框架在CelebA潜在空间中成功检测到奇点集，通过生成具有一个蓝眼一个棕眼的人脸形态变换序列得到验证，表明存在不连续性。
• 实证验证了真实数据支撑集通常非凸的假设，解释了不连续传输映射的不可避免性。
• 基于Brenier势函数的所提方法在合成多模态实验中实现了全部25个模式的完整覆盖，优于PacGAN（其在模式之间生成了不真实的样本）。
• AE-OT框架使训练速度提升5倍，并由于最优传输步骤的凸性而增强了收敛稳定性。
• 该方法表明，学习连续的Brenier势函数而非不连续的传输映射，可带来更准确、更稳定的GAN训练。
• 理论分析证实，DNN无法收敛到不连续映射，解释了导致模式崩溃与训练不稳定的内在矛盾。