[論文レビュー] Monge-Ampère Flow for Generative Modeling

Linfeng Zhang, E Weinan+1 more|arXiv (Cornell University)|Sep 26, 2018

Geometry and complex manifolds参考文献 25被引用数 43

ひとこと要約

Monge-Ampère flowを導入した、潜在変数からデータへの写像が学習可能なポテンシャルの連続時間勾配流に従う可逆的な流れベース生成モデルであり、tractableな尤度と対称性の組み込みを可能にする。MNISTの密度推定と変分Isingモデル計算を実証する。

ABSTRACT

We present a deep generative model, named Monge-Ampère flow, which builds on continuous-time gradient flow arising from the Monge-Ampère equation in optimal transport theory. The generative map from the latent space to the data space follows a dynamical system, where a learnable potential function guides a compressible fluid to flow towards the target density distribution. Training of the model amounts to solving an optimal control problem. The Monge-Ampère flow has tractable likelihoods and supports efficient sampling and inference. One can easily impose symmetry constraints in the generative model by designing suitable scalar potential functions. We apply the approach to unsupervised density estimation of the MNIST dataset and variational calculation of the two-dimensional Ising model at the critical point. This approach brings insights and techniques from Monge-Ampère equation, optimal transport, and fluid dynamics into reversible flow-based generative models.

研究の動機と目的

• 最適輸送とMonge-Ampère理論に触発された流れベース生成モデルを動機づける。
• 生成器を、ターゲット密度へ圧縮流体を導く学習可能なポテンシャルの勾配流として定式化する。
• 尤度を tractable に保ちつつサンプリングを効率化し、対称性の組み込みを容易にする。
• 教師なしのMNIST密度推定とIsingモデルの臨界点での変分計算を用いて手法を実証する。

提案手法

• スカラー Brenier ポテンシャル φ をニューラルネットワークでパラメータ化し、流れを ẋ = ∇φ(x) と定義する。
• 密度の変化は連続方程式 ∂t p(x,t) + ∇·(p v) = 0 で表し、v = ∇φ(x) とする。
• KL発散に基づく目的を用いて minφ I[p(x,T), q(x)] を解く最適制御問題として学習させる。
• 連続時間流を固定ステップのRK4積分器で離散化し、そのステップを深い残差ネットワークとして解釈する。
• 流れに沿って log p(x,t) の変化を伝搬させ、自動微分を用いて対数尤度を計算する。
• 対称性は対称群要素全体でポテンシャルを平均することで取り入れる： φ(x) = (1/|G|) ∑φ̃(gx)。
• φに単一の隠れ層を持つ軽量な実装を示し、拡張の可能性を論じる。

実験結果

リサーチクエスチョン

• RQ1 Monge-Ampèreに着想を得た連続時間流が可逆生成モデルにおいて tractable な尤度を提供できるか。
• RQ2 学習可能なポテンシャルが圧縮流体の流れをターゲット分布へどれだけ効果的に導けるか。
• RQ3 他の既存の流れベースモデルと比較してMNIST密度推定における性能はどうか。
• RQ4 対称性制約をスカラー・ポテンシャルに自然に課して、対称性に関連する同一確率のサンプルを生成できるか。
• RQ5 Isingモデルなど統計物理モデルの臨界点における変分計算でフレームワークはどの程度機能するか。

主な発見

モデル	Test NLL
MA-Flow (Present)	1255.5±2.0
MA-Flow (Baseline comparison)
MADE	1380.8±4.8
Real NVP	1323.2±6.6
MAF	1300.5±1.7

• Monge-Ampère flowは、いくつかのベースラインの流れモデルより低いテストNLLで競争力のあるMNIST密度推定を達成し、パラメータ数は概ね1桁少なくなる。
• 本フレームワークは tractable な尤度と、順伝播と逆伝播のコストが同等の可逆的流れを提供する。
• 対称性は対称群要素全体でポテンシャルを平均することで自然に統合され、対称性を満たすサンプルを生成する。
• Isingモデルへの応用では、逆KL目的を最小化して変分自由エネルギーを下げ、臨界点で既知の厳密解に近づく。
• 生成されたIsing構成は多様で対称性に整合したドメインを示し、与えられたサンプルに対する対数尤度評価をサポートする。