[論文レビュー] 2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs

Amirhossein Taghvaei, Amin Jalali|arXiv (Cornell University)|Feb 19, 2019

Markov Chains and Monte Carlo Methods参考文献 51被引用数 23

ひとこと要約

本稿では、入力凸ニューラルネットワークを含む制限付き凸ポテンシャルを用いて2 Wasserstein 距離を近似する新しいフレームワークを提案する。Brenier の定理の幾何的構造を活用することで、最適輸送写像が凸ポテンシャル関数の勾配として得られ、効率的な最適化、統計的一般化、および特定条件下での正確なモーメントマッチングを保証する。

ABSTRACT

We provide a framework to approximate the 2-Wasserstein distance and the optimal transport map, amenable to efficient training as well as statistical and geometric analysis. With the quadratic cost and considering the Kantorovich dual form of the optimal transportation problem, the Brenier theorem states that the optimal potential function is convex and the optimal transport map is the gradient of the optimal potential function. Using this geometric structure, we restrict the optimization problem to different parametrized classes of convex functions and pay special attention to the class of input-convex neural networks. We analyze the statistical generalization and the discriminative power of the resulting approximate metric, and we prove a restricted moment-matching property for the approximate optimal map. Finally, we discuss a numerical algorithm to solve the restricted optimization problem and provide numerical experiments to illustrate and compare the proposed approach with the established regularization-based approaches. We further discuss practical implications of our proposal in a modular and interpretable design for GANs which connects the generator training with discriminator computations to allow for learning an overall composite generator.

研究の動機と目的

• 標準的な GAN 損失関数の代替として、より安定的かつ幾何的に整合性のある手法を提供することで、GAN 訓練における不安定性とモード崩壊を解消すること。
• 制限付き凸ポテンシャル、特に入力凸ニューラルネットワークを用いて、2 Wasserstein 距離および最適輸送写像を近似するフレームワークを開発すること。
• 凸関数クラスにおける制限付き最適化の理論的分析を通じて、得られる度合いの統計的一般化および識別力の確保。
• 生成器と識別器が輸送写像の構成的学習を通じて共同最適化されるモジュラーで解釈可能な GAN アーキテクチャを実現すること。
• 制限付き凸ポテンシャルクラスにおける最適化に対して、モーメントマッチングおよび写像近似可能性に関する理論的保証を確立すること。

提案手法

• Kantorovich の双対性を用いて2 Wasserstein 距離を定式化し、Brenier の定理を活用して最適輸送写像を凸ポテンシャル関数の勾配として表現する。
• パラメータ化された凸関数クラスに最適化を制限し、特に入力凸ニューラルネットワーク（ICNNs）に焦点を当て、凸性と微分可能性を保証する。
• 最適輸送の双対定式化を用いて、制限付き凸ポテンシャルクラスにおける実行可能な最適化問題を導出し、効率的な訓練を可能にする。
• 段階的複雑度の増加により収束を加速するホモトピーに基づくプログレッシブ訓練戦略を導入する。
• 生成器の訓練を近似輸送写像を介して識別器の計算に直接結びつけることで、構成的 GAN を実現する。
• 行列微積分を用いて双対目的関数の閉形式勾配を導出し、確率的勾配降下法による効率的最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 制限付き凸ポテンシャルは、2 Wasserstein 距離に対して安定的で微分可能かつ統計的に一般化可能な近似を提供できるか？
• RQ2 凸ポテンシャルクラスの選択（例：ICNNs や区分線形2次関数）が、近似品質およびモーメントマッチング特性に与える影響は何か？
• RQ3 制限付き最適ポテンシャルと真の最適輸送写像との間には、幾何的・統計的忠実性の観点からどのような関係があるか？
• RQ4 提案されたフレームワークにより、生成器と識別器の学習を結びつける構成的・モジュラー設計を可能にし、GAN 訓練を改善できるか？
• RQ5 制限付き凸ポテンシャルクラスにおける最適化に対して、どのような理論的保証（例：モーメントマッチング、近似可能性）を確立できるか？

主な発見

• 提案手法は、最適点における凸ポテンシャルクラスの接空間に対して正確なモーメントマッチングを達成し、統計的一致性を保証する。
• 正規分布に対しては、アフィン凸ポテンシャルを用いることで最適輸送写像を正確に回復でき、目的関数がパラメータ (A, b) に関して凸であるため、一意のグローバル最小解が保証される。
• 入力凸ニューラルネットワークを用いる場合、最適パラメータ設定下で特定の統計量（例：x_i 1_{x_i ≥ 0}, x_i 1_{x_i ≤ 0}）が正確に一致し、ターゲット分布が勾配写像の像に含まれる場合には正確な度合い回復が達成される。
• 近似誤差に対して上界が与えられる：2点分布に対しては誤差が 2α|v| で有界であり、α は対称性からの逸脱を測る指標である。
• ホモトピーを用いたプログレッシブ訓練戦略により、段階的にポテンシャルクラスの複雑度を増加させることで収束を加速できる。
• 数値実験の結果、正則化ベースのベースラインと比較して、本手法は訓練の安定性およびサンプル品質において優れていることが示され、特にモードカバレッジと収束速度の面で顕著な改善が得られた。