[論文レビュー] Adversarial Computation of Optimal Transport Maps

Jacob Leygonie, Jennifer She+3 more|arXiv (Cornell University)|Jun 24, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 15

ひとこと要約

本稿では、高次元連続分布間の最適輸送マップを計算するために2 Wasserstein 距離を識別器の目的関数として用いる生成対抗ネットワーク、W2GAN を提案する。生成器を一意な W2-地図に沿って訓練することにより、理論的保証とともに、画像データにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Computing optimal transport maps between high-dimensional and continuous distributions is a challenging problem in optimal transport (OT). Generative adversarial networks (GANs) are powerful generative models which have been successfully applied to learn maps across high-dimensional domains. However, little is known about the nature of the map learned with a GAN objective. To address this problem, we propose a generative adversarial model in which the discriminator's objective is the $2$-Wasserstein metric. We show that during training, our generator follows the $W_2$-geodesic between the initial and the target distributions. As a consequence, it reproduces an optimal map at the end of training. We validate our approach empirically in both low-dimensional and high-dimensional continuous settings, and show that it outperforms prior methods on image data.

研究の動機と目的

• 高次元連続分布間の最適輸送マップを計算する課題に対処すること。
• 生成対抗ネットワーク (GAN) と最適輸送 (OT) 理論の間のギャップを埋め、学習されたマップが OT の意味で真に最適であることを保証すること。
• 理想的な条件下での GAN 生成器の学習ダイナミクスを特徴付け、それが W2-地図に従うことを示すこと。
• 識別器と生成器が完全に訓練されていない、または能力に制限がある実用的状況において、理想の地図経路からの逸脱を制限する理論的境界を導出すること。
• 低次元の合成データおよび高次元の画像データにおいて、本手法の実証的妥当性を検証し、競争力のある性能を示すこと。

提案手法

• 生成分布とターゲット分布間の 2-Wasserstein 距離 $W_2^2(\mu, \nu)$ を識別器が計算する W2GAN という GAN フレームワークを提案する。
• 確率測度の空間における勾配フローの定式化を用い、理想的な条件下では生成器が初期分布からターゲット分布への一意な $W_2$-地図に沿って進化することを示す。
• 生成器が恒等写像から出発し、$[-1,1]^d$ にマップするように、$G(z) = 2 \cdot H(z) + z$ の再パラメータライゼーションを採用する。
• 双対最適化スキームを実装し、識別器は $W_2^2(\mu_\theta, P_x)$ を近似するように訓練され、生成器はこの目的関数に沿って勾配降下法で更新される。
• 識別器と生成器が完全に訓練されていない、または能力に制限がある場合の理想の $W_2$-地図からの逸脱を定量化する理論的境界を適用する。
• 画像実験では、ADAM 最適化手法を用い、学習率 $\sim 10^{-4}$ および $\beta_1=0.5$, $\beta_2=0.999$ を設定し、バッチサイズ 64 で最大 100,000 イテレーションの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 2-Wasserstein 距離を識別器の目的関数として用いた GAN の訓練は、生成器が初期分布とターゲット分布間の $W_2$-地図に従うように誘導するか？
• RQ2 理想的な訓練条件下で収束した際、生成器は最適輸送マップを回復できるか？
• RQ3 有限な能力と不完全な訓練を伴う実用的状況において、生成器の軌道は理想の $W_2$-地図からどれほど逸脱するか？
• RQ4 W2GAN は高次元画像データにおいて、既存の手法を上回って最適輸送マップを学習できるか？
• RQ5 生成器の進化と $W_2^2$-距離の勾配フローとの間には、理論的にどのような関係があるか？

主な発見

• 理想的な条件下—識別器が完全に訓練され、生成器の能力が無限大—では、生成器は初期分布からターゲット分布への一意な $W_2$-地図に沿って進化し、$\mu_t = [e^{-t}\mathcal{I} + (1-e^{-t})T]\# \mu_0$ として形式化される。
• 生成器は指数関数的にターゲット分布に収束し、$W_2^2(\mu_t, P_x) = e^{-2t} W_2^2(\mu_0, P_x)$ が成り立つ。
• 収束時に生成器は初期分布とターゲット分布間の最適輸送マップを生成する。
• 低次元の合成データにおける実証的結果は、学習中に生成分布が $W_2$-地図経路に従うことを確認する。
• 高次元の画像データ（例：MNIST, USPS）において、W2GAN は、Barycentric-OT や標準 GAN と比較して、マップ品質と忠実度の両面で優れた性能を示す。
• 理論的境界は、実用的状況において、生成器の軌道が理想の $W_2$-地図から逸脱する割合が、識別器の近似誤差と生成器の能力によって制御されることを示している。