[论文解读] Adversarial Computation of Optimal Transport Maps

Jacob Leygonie, Jennifer She+3 more|arXiv (Cornell University)|Jun 24, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用 15

一句话总结

该论文提出W2GAN，一种生成对抗网络，其判别器目标函数采用2- Wasserstein距离，以计算高维连续分布之间的最优传输映射。通过沿唯一的W2-测地线训练生成器，该方法确保收敛至最优传输映射，在图像数据上表现优于先前方法，同时提供轨迹和最优性的理论保证。

ABSTRACT

Computing optimal transport maps between high-dimensional and continuous distributions is a challenging problem in optimal transport (OT). Generative adversarial networks (GANs) are powerful generative models which have been successfully applied to learn maps across high-dimensional domains. However, little is known about the nature of the map learned with a GAN objective. To address this problem, we propose a generative adversarial model in which the discriminator's objective is the $2$-Wasserstein metric. We show that during training, our generator follows the $W_2$-geodesic between the initial and the target distributions. As a consequence, it reproduces an optimal map at the end of training. We validate our approach empirically in both low-dimensional and high-dimensional continuous settings, and show that it outperforms prior methods on image data.

研究动机与目标

• 为解决在高维连续分布之间计算最优传输映射的挑战。
• 通过确保学习到的映射在最优传输（OT）意义下真正最优，弥合生成对抗网络（GANs）与最优传输（OT）理论之间的差距。
• 刻画GAN生成器的训练动态，并表明在理想条件下其遵循W2-测地线。
• 通过量化判别器和生成器在非理想状态（如容量有限或训练不充分）下与理想测地线路径的偏差，将理论结果推广至实际设置。
• 在低维合成数据和高维图像数据上对方法进行实证验证，展示其具有竞争力的性能。

提出的方法

• 提出W2GAN，一种GAN框架，其中判别器计算生成分布与目标分布之间的2-Wasserstein距离 $W_2^2(\mu, \nu)$。
• 在概率测度空间中采用梯度流公式，表明在理想条件下，生成器沿从初始分布到目标分布的唯一 $W_2$-测地线演化。
• 采用重参数化 $G(z) = 2 \cdot H(z) + z$，确保生成器从恒等映射开始，并映射至 $[-1,1]^d$。
• 实施一种对偶优化方案：判别器被训练以近似 $W_2^2(\mu_\theta, P_x)$，而生成器则通过在该目标上的梯度下降进行更新。
• 应用理论界限定量分析在判别器和生成器未被完美训练或容量受限时，生成器轨迹与理想 $W_2$-测地线的偏差。
• 在图像实验中使用ADAM优化器，学习率 $\sim 10^{-4}$，$\beta_1=0.5$，$\beta_2=0.999$，训练最多100,000轮，批量大小为64。

实验结果

研究问题

• RQ1 使用2-Wasserstein判别器目标函数训练GAN时，是否会使生成器沿初始分布与目标分布之间的 $W_2$-测地线演化？
• RQ2 在理想训练条件下，生成器是否能在收敛时恢复出最优传输映射？
• RQ3 在实际设置中，当判别器和生成器容量有限且训练不充分时，生成器的轨迹与理想 $W_2$-测地线的偏差如何？
• RQ4 W2GAN在高维图像数据上学习最优传输映射方面是否优于现有方法？
• RQ5 生成器演化与 $W_2^2$-距离梯度流之间的理论关系是什么？

主要发现

• 在理想条件下——判别器被完美训练且生成器容量无限——生成器沿从初始分布到目标分布的唯一 $W_2$-测地线演化，其形式化表达为 $\mu_t = [e^{-t}\mathcal{I} + (1-e^{-t})T]\# \mu_0$。
• 生成器以指数速度收敛至目标分布，满足 $W_2^2(\mu_t, P_x) = e^{-2t} W_2^2(\mu_0, P_x)$。
• 在收敛时，生成器生成的映射是初始分布与目标分布之间的最优传输映射。
• 在低维合成数据上的实证结果表明，训练过程中生成分布确实沿 $W_2$-测地线路径演化。
• 在高维图像数据（如MNIST、USPS）上，W2GAN实现了具有竞争力的性能，其映射质量与保真度优于先前方法，包括Barycentric-OT和标准GAN。
• 理论界线表明，在实际设置中，生成器轨迹与理想 $W_2$-测地线的偏差受判别器近似误差和生成器容量的控制。