[論文レビュー] Learning Implicit Generative Models with Theoretical Guarantees

Yuan Gao, Jian Huang+2 more|arXiv (Cornell University)|Feb 7, 2020

Model Reduction and Neural Networks参考文献 68被引用数 4

ひとこと要約

本稿では、最適輸送、数値ODE、密度比推定、深層ニューラルネットワークを統合する、暗黙的生成モデルのための統一フレームワークであるUnifiGemを提案する。生成モデルをMonge-Ampère方程式を通じた最適輸送として定式化し、その線形化形（McKean-Vlasov方程式）を、深層密度比推定を用いた前進Euler法で解くことで、理論的誤差境界を達成するとともに、合成データおよび実世界のデータセットにおいて優れた経験的性能を示す。

ABSTRACT

We propose a extbf{uni}fied extbf{f}ramework for extbf{i}mplicit extbf{ge}nerative extbf{m}odeling (UnifiGem) with theoretical guarantees by integrating approaches from optimal transport, numerical ODE, density-ratio (density-difference) estimation and deep neural networks. First, the problem of implicit generative learning is formulated as that of finding the optimal transport map between the reference distribution and the target distribution, which is characterized by a totally nonlinear Monge-Ampère equation. Interpreting the infinitesimal linearization of the Monge-Ampère equation from the perspective of gradient flows in measure spaces leads to the continuity equation or the McKean-Vlasov equation. We then solve the McKean-Vlasov equation numerically using the forward Euler iteration, where the forward Euler map depends on the density ratio (density difference) between the distribution at current iteration and the underlying target distribution. We further estimate the density ratio (density difference) via deep density-ratio (density-difference) fitting and derive explicit upper bounds on the estimation error. Experimental results on both synthetic datasets and real benchmark datasets support our theoretical findings and demonstrate the effectiveness of UnifiGem.

研究の動機と目的

• 最適輸送、数値ODE、深層密度比推定を統合した理論的裏付けのある統一的フレームワークを、暗黙的生成モデルの分野に構築すること。
• 高次元における極めて非線形なMonge-Ampère方程式を解く課題に、測度空間上の勾配フローによる線形化を用いて対処すること。
• 密度比および密度差のフィッティング文脈において、推定誤差および離散化誤差の明示的上界を導出すること。
• GAN、VAE、フローベーストモデルなどの既存の暗黙的生成モデルを、共通の理論的・アルゴリズム的枠組みに統合すること。

提案手法

• 参照分布から標的分布への押し出し写像を特徴付けるMonge-Ampère方程式を通じて、暗黙的生成モデルを最適輸送として定式化する。
• 測度空間上の勾配フローを用いてMonge-Ampère方程式を線形化し、連続の方程式およびその関連するMcKean-Vlasov ODE系を導出する。
• 各ステップが現在の分布と標的分布間の密度比（または差）に依存する前進Euler反復を用いて、McKean-Vlasov方程式を数値的に解く。
• 明示的な誤差境界を伴う密度比フィッティングによりトレーニングされる深層ニューラルネットワークを用いて、必要な密度比（または差）を非パラメトリックに推定する。
• 母集団設定下で、推定誤差（深層密度比フィッティングによる）および離散化誤差（前進Eulerによる）の理論的上界を導出する。
• すべての要素を統合し、理論的収束保証を保証するUnifiGemと呼ばれる統一された学習フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送、数値ODE、深層密度比推定を統合し、理論的保証を備えた1つのフレームワークで暗黙的生成モデルを統一できるか？
• RQ2 高次元設定において深層ニューラルネットワークを用いた密度比推定の理論的誤差境界は何か？
• RQ3 McKean-Vlasov方程式の解法において、前進Euler法の離散化誤差と密度比の推定誤差はどのように相互作用するか？
• RQ4 提案されたフレームワークは、GAN やフローベーストモデルなどの既存の暗黙的モデルよりも優れたサンプル品質と分布の正確性を達成できるか？
• RQ5 実際の応用において、$ n^{-2/(2+ u)} $ のオーダーの理論的誤差境界が達成可能か、またネットワークの深さと幅にどのように依存するか？

主な発見

• 提案されたUnifiGemフレームワークは、適切なネットワーク幅と深さの制約下で、密度比の$ L^2 $推定誤差に対して明示的な上界 $ C(B^2 + cLm ilde{M})n^{-2/(2+ ilde{M})} $ を達成する。ここで $ ilde{M} = \text{log} n $ である。
• McKean-Vlasov方程式に適用された前進Euler法の離散化誤差は、母集団レベルで有界であり、数値スキームの収束を保証する。
• フレームワークは、高次元設定における非パラメトリック密度比推定の既知のミニマックス最適レートに一致する理論的収束レートを達成する。
• 合成データおよび実世界のベンチマークデータセットにおける経験的結果は、理論的予測を確認しており、最先端のサンプル品質と分布の忠実度を示している。
• MMDフローとLebesgueノルムに基づくベクトル場との間の理論的関係を確立し、MMDフローが再生核ヒルベルト空間への勾配フローの射影に対応することを示している。
• ReLUネットワークを用いた深層密度比フィッティングが、$ (NM)^{-4/ ilde{M}} $ のオーダーの近似誤差境界を達成できることを示している。ここで $ N $ および $ M $ はネットワークのサイズと滑らかさに関連する。