[论文解读] Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?

Alexander Korotin, A. K. Kolesov+1 more|arXiv (Cornell University)|Jun 15, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文评估了多种Wasserstein GAN对偶求解器在估计最优传输（OT）度量方面的性能，特别是1-Wasserstein距离（W₁）及其梯度。通过使用已知Kantorovich势函数的新型基准测试，结果表明，尽管大多数求解器能以正余弦相似度恢复OT梯度，但在高维空间中却无法准确估计W₁——尤其是DOT求解器，其W₁估计值随维度呈指数级高估，严重削弱了其作为精确OT估计器的可靠性，尽管其在GAN训练中仍具实用性。

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) are the popular generative models built on the theory of Optimal Transport (OT) and the Kantorovich duality. Despite the success of WGANs, it is still unclear how well the underlying OT dual solvers approximate the OT cost (Wasserstein-1 distance, $\mathbb{W}_{1}$) and the OT gradient needed to update the generator. In this paper, we address these questions. We construct 1-Lipschitz functions and use them to build ray monotone transport plans. This strategy yields pairs of continuous benchmark distributions with the analytically known OT plan, OT cost and OT gradient in high-dimensional spaces such as spaces of images. We thoroughly evaluate popular WGAN dual form solvers (gradient penalty, spectral normalization, entropic regularization, etc.) using these benchmark pairs. Even though these solvers perform well in WGANs, none of them faithfully compute $\mathbb{W}_{1}$ in high dimensions. Nevertheless, many provide a meaningful approximation of the OT gradient. These observations suggest that these solvers should not be treated as good estimators of $\mathbb{W}_{1}$, but to some extent they indeed can be used in variational problems requiring the minimization of $\mathbb{W}_{1}$.

研究动机与目标

• 开发一个用于在高维及图像数据设置下评估最优传输（OT）对偶求解器的基准测试。
• 评估WGAN对偶求解器在估计1-Wasserstein距离（W₁）及其梯度方面的准确性。
• 识别在高维空间中虽存在已知局限性但仍能提供可靠OT代价与梯度估计的求解器。
• 评估这些求解器在生成建模中的实际效用，特别是在Wasserstein GAN中的应用。
• 建立一个可复现、透明的基准测试，供未来OT与WGAN研究使用，基于已知的OT势函数真值。

提出的方法

• 使用MinFunnels构建具有已知最优Kantorovich势函数真值的高维及图像基准对，表示连续分布。
• 采用Kantorovich对偶公式生成支撑在[-1.1, 1.1]^D上的分布对(P, Q)，并已知其W₁与∇f*。
• 评估12种WGAN对偶求解器（如GP、LP、SN、SO、LS、MM、DOT）在估计W₁与梯度∇f*方面的能力。
• 使用三种指标衡量性能：估计梯度与真实梯度之间的余弦相似度（cos）、梯度误差的L²范数，以及W₁估计的准确性。
• 对势函数与移动器（movers）采用DCGAN与UNet架构，必要时应用谱归一化、GroupSort与正交性约束。
• 使用Adam优化器并固定超参数，训练至测试余弦相似度收敛，以确保评估的稳定性。

实验结果

研究问题

• RQ1 WGAN对偶求解器在高维及图像分布中估计1-Wasserstein距离（W₁）的准确性如何？
• RQ2 这些求解器在多大程度上能恢复真实的最优传输梯度？其衡量标准为与真值的余弦相似度。
• RQ3 为何某些求解器（如DOT）在低维空间中表现良好，却在高维空间中失效？
• RQ4 即使W₁估计不佳，某些求解器是否仍能在训练Wasserstein GAN时保持有效性？
• RQ5 架构选择（如DCGAN与UNet、归一化技术）如何影响OT估计的准确性？

主要发现

• DOT因样本复杂度随维度D呈指数增长，导致在高维空间中高估W₁，尽管其梯度对齐良好，但W₁估计性能极差。
• DOT在高维空间中余弦相似度cos ≈ 0，表明其梯度几乎与真实梯度正交，尽管其在WGAN中被广泛使用。
• MM:R在图像任务中实现了最小的L²梯度误差（cos > 0.9）与精确的W₁估计，两项指标均优于其他求解器。
• MM:Bv2的W₁估计尚可，但cos ≈ 0且L²误差高，表明其梯度恢复能力差，尽管W₁估计尚可。
• GP、LP与MM:R在图像中均实现cos > 0.9，表明梯度对齐良好，但仅MM:R提供了精确的L²梯度估计。
• WC与SN的余弦相似度cos > 0.5但显著低于顶尖求解器，表明其在高维空间中梯度恢复能力欠佳。