[論文レビュー] Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?

Alexander Korotin, A. K. Kolesov+1 more|arXiv (Cornell University)|Jun 15, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿は、最適輸送（OT）度合い、特に1- Wasserstein 距離（W₁）とその勾配の推定において、さまざまな Wasserstein GAN ダブル解法の性能を評価している。既知の真値 Kantorovich 潜在関数を備えた新規ベンチマークを用いて、多数の解法が正のコサイン類似度を示してOT勾配を回復するが、高次元ではW₁を正確に推定できないことを示している。特にDOTは次元の増加に伴いW₁を指数関数的に過大評価し、GNN訓練における有用性にもかかわらず、正確なOT推定器としての使用を損なう。

ABSTRACT

Wasserstein Generative Adversarial Networks (WGANs) are the popular generative models built on the theory of Optimal Transport (OT) and the Kantorovich duality. Despite the success of WGANs, it is still unclear how well the underlying OT dual solvers approximate the OT cost (Wasserstein-1 distance, $\mathbb{W}_{1}$) and the OT gradient needed to update the generator. In this paper, we address these questions. We construct 1-Lipschitz functions and use them to build ray monotone transport plans. This strategy yields pairs of continuous benchmark distributions with the analytically known OT plan, OT cost and OT gradient in high-dimensional spaces such as spaces of images. We thoroughly evaluate popular WGAN dual form solvers (gradient penalty, spectral normalization, entropic regularization, etc.) using these benchmark pairs. Even though these solvers perform well in WGANs, none of them faithfully compute $\mathbb{W}_{1}$ in high dimensions. Nevertheless, many provide a meaningful approximation of the OT gradient. These observations suggest that these solvers should not be treated as good estimators of $\mathbb{W}_{1}$, but to some extent they indeed can be used in variational problems requiring the minimization of $\mathbb{W}_{1}$.

研究の動機と目的

• 高次元および画像データ設定における最適輸送（OT）のダブル解法を評価するためのベンチマークを開発すること。
• WGANダブル解法が1-Wasserstein距離（W₁）とその勾配をどれだけ正確に推定できるかを評価すること。
• 高次元空間における既知の制限があるにもかかわらず、信頼できるOTコストおよび勾配推定を提供する解法を特定すること。
• これらの解法が生成的モデリング、特にWasserstein GANにおいて実用的にどの程度有効であるかを評価すること。
• 既知の真値OTポテンシャルを用いた再現可能で透明なベンチマークを確立し、今後のOTおよびWGAN研究に貢献すること。

提案手法

• MinFunnelsを用いて、既知の真値最適Kantorovichポテンシャルを備えた連続的分布の高次元および画像ベースのベンチマークペアを構築する。
• Kantorovich双対性の定式化を用いて、[-1.1, 1.1]^D 上にサポートを持つペア (P, Q) を生成し、既知のW₁および∇f*を保証する。
• 12種類のWGANダブル解法（例：GP, LP, SN, SO, LS, MM, DOT）がW₁および勾配∇f*をどれだけ正確に推定できるかを評価する。
• 3つの指標を用いて性能を測定する：推定された勾配と真値勾配との間のコサイン類似度（cos）、勾配誤差のL²ノルム、W₁推定の正確性。
• ポテンシャルおよび移動器にDCGANおよびUNetアーキテクチャを用い、必要に応じてスペクトル正規化、GroupSort、直交制約を適用する。
• 固定されたハイパーパrameterを用いたAdam最適化手法を採用し、テスト時のコサイン類似度が収束するまで訓練することで、安定した評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 WGANダブル解法は、高次元および画像ベースの分布において、1-Wasserstein距離（W₁）をどの程度正確に推定できるか？
• RQ2 これらの解法は、真値とのコサイン類似度で測定した場合、どれだけ正確に真の最適輸送勾配を回復できるか？
• RQ3 DOTのような一部の解法は、低次元では機能するが、なぜ高次元では失敗するのか？
• RQ4 W₁推定が不正確な解法でも、Wasserstein GANの学習において有効に機能できるのか？
• RQ5 アーキテクチャの選択（例：DCGAN対UNet、正規化手法）は、OT推定の正確性にどのように影響するか？

主な発見

• DOTは次元Dに伴い指数関数的なサンプル複雑性を示すため、高次元ではW₁を過大評価する。これは、コサイン類似度が良好であっても、W₁推定が著しく劣化することを意味する。
• DOTは高次元においてcos ≈ 0を示し、真の勾配に対してほぼ直交していることを示しており、WGANで使用されているにもかかわらず、勾配の回復が著しく不正確である。
• MM:RはL²勾配誤差が最小（cos > 0.9）かつ画像データにおけるW₁推定が正確で、両指標で他を上回る。
• MM:Bv2はW₁推定は妥当であるが、cos ≈ 0でL²誤差が大きく、勾配回復は著しく劣っている。
• GP, LP, およびMM:Rは画像データにおいてcos > 0.9を達成し、良好な勾配整合性を示すが、L²勾配誤差が正確なのはMM:Rに限られる。
• WCおよびSNは中程度のcos > 0を示すが、トップパフォーマーほど高くなく、高次元における勾配回復が最適でないことが示された。