[論文レビュー] Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions

Antoine Liutkus, Umut Ş Imşekli+3 more|arXiv (Cornell University)|Jun 21, 2018

Generative Adversarial Networks and Image Synthesis被引用数 42

ひとこと要約

tldr: 本論文は、gradient flow in Wasserstein spaceに基づくparameter-free, nonparametric implicit generative modeling (IGM) アルゴリズムを提案し、sliced-Wasserstein distanceとentropy regularizationを用いて分布を学習し、理論的保証とともにそれらからサンプルを得る。

ABSTRACT

By building upon the recent theory that established the connection between implicit generative modeling (IGM) and optimal transport, in this study, we propose a novel parameter-free algorithm for learning the underlying distributions of complicated datasets and sampling from them. The proposed algorithm is based on a functional optimization problem, which aims at finding a measure that is close to the data distribution as much as possible and also expressive enough for generative modeling purposes. We formulate the problem as a gradient flow in the space of probability measures. The connections between gradient flows and stochastic differential equations let us develop a computationally efficient algorithm for solving the optimization problem. We provide formal theoretical analysis where we prove finite-time error guarantees for the proposed algorithm. To the best of our knowledge, the proposed algorithm is the first nonparametric IGM algorithm with explicit theoretical guarantees. Our experimental results support our theory and show that our algorithm is able to successfully capture the structure of different types of data distributions.

研究の動機と目的

• Implicit generative modeling (IGM) とその OT との関係を動機づける。
• 理論的保証を有するパラメータフリー、非パラメトリック学習アルゴリズムを開発する。
• Wasserstein空間における勾配流を定式化して、目標分布 ν を近似する。
• エントロピー正則化を取り入れて表現力を確保し、データへの過適合を避ける。
• 有限時間誤差境界を持つ実用的なアルゴリズムを提供し、合成データと実データでデモンストレーションを行う。

提案手法

• 学習問題を F^ν_λ(μ) = (1/2) SW_2^2(μ, ν) + λ H(μ) を最小化する問題として定式化する。
• SW_2 は、高次元の OT を 1 次元 OT 問題の平均に還元する sliced-Wasserstein distance を用いる。
• 進化を、Fokker-Planck方程式に結びつく PDE を伴う (P_2, W_2) の一般化最小化運動として表現する。
• 射影測度間の Kantorovich ポテンシャルを介して表現される drift v_t(x, μ_t) を持つ確率粒子系を導出する。
• 球面上のランダム方向 θ に対する Monte Carlo によって drift を近似し、近似的な Euler–Maruyama離散化を可能にする。
• McKean–Vlasov 型 SDE との関係を示し、離散化スキームに対する有限時間誤差境界を提供する。
• Algorithm 1 (Sliced-Wasserstein Flow) を実装して、ドリフト推定とガウシアンノイズで粒子を更新する。
• 理論的結果として、勾配流解の経路の存在と、粒子近似と目標流の総変分誤差に対する有限時間境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 明示的な収束保証を持つ非パラメトリックで parameter-free な IGM 法を開発できるか。
• RQ2 sliced-Wasserstein flow フレームワークは entropy regularization を伴う Wasserstein 空間で定義された勾配流を生み出すか。
• RQ3 実用的な粒子ベースのアルゴリズムは、有限時間誤差保証を伴い、勾配流を効率的に近似できるか。
• RQ4 エントロピー正則化は表現力にどう影響し、有限データへの過適合を防ぐか。
• RQ5 合成データおよび実データでの実験は理論的保証を検証し、学習/生成能力を示しているか。

主な発見

• 勾配流ベースの非パラメトリック IGM アルゴリズムを提案し、有限時間誤差保証を有する。
• SW_2 距離とエントロピー正則化は、Fokker–Planck方程式に結びつく PDE によって密度が進化する、よく定義された流を生む。
• 適切な条件下で、近似的な Euler–Maruyama離散化を持つ実用的な粒子系を導出し、対象の流を近似することを示す。
• ドリフトはランダム投影方向に対する Monte Carlo によって推定され、スケーラブルな計算を実現する。
• Algorithm 実験（Gaussian mixture、MNIST、CelebA bottleneck features）は SW コストの低下と妥当なサンプル生成を示し、正則化が分布の広がりを制御する。
• 理論的結果は本手法を SGLD-type ダイナミクスに結びつけ、ステップサイズ、ドリフト分散、正則化パラメータ λ に関する非漸近的誤差境界を提供する。