[論文レビュー] Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models

Chin-Wei Huang, Laurent Dinh+1 more|arXiv (Cornell University)|Feb 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 77被引用数 25

ひとこと要約

この論文は、データ $x$ と独立したノイズ $e$ を組み合わせた拡張された空間上で可逆変換を学習することにより表現力を向上させる、拡張正規化流れ（ANFs）を導入する。$x$ と $e$ の両方に条件付けられた流れにより、ハミルトニアンODEを介して任意の分布の普遍的近似が達成され、効率的なサンプリングと尤度評価を可能にし、密度推定および画像生成の分野で最先端の性能を達成する。

ABSTRACT

In this work, we propose a new family of generative flows on an augmented data space, with an aim to improve expressivity without drastically increasing the computational cost of sampling and evaluation of a lower bound on the likelihood. Theoretically, we prove the proposed flow can approximate a Hamiltonian ODE as a universal transport map. Empirically, we demonstrate state-of-the-art performance on standard benchmarks of flow-based generative modeling.

研究の動機と目的

• 逐次的カップリング層による局所的特徴依存性に依存する標準正規化流れのグローバル表現力の制限を解消する。
• 標準流れにおける微分同相写像の位相的制約を克服するため、独立したノイズを含む拡張された潜在空間を導入する。
• データと補助的ノイズ変数の両方に条件付けられた変換により、確率質量のより柔軟でグローバルに一貫した輸送を可能にする。
• 元のデータの周辺尤度の下界を最大化するという原理的で効果的なパrameter推定法「拡張最大尤度推定（AMLE）」を構築する。
• ANFsが普遍的輸送写像族として、ハミルトニアンODEを模倣可能であり、任意のデータ分布を標準ガウス分布に近似可能であるという理論的・実験的妥当性を検証する。

提案手法

• 入力データ $x$ を独立したノイズ変数 $e$ で拡張し、拡張された潜在空間 $(x, e)$ を形成することで、より柔軟な可逆変換を可能にする。
• 2段階の流れを設計：まず $x$ に条件付けられた $e$ を $z$ に変換し、次に $z$ に条件付けられた $x$ を $y$ に変換することで、共にガウス分布に従う分布 $(y, z)$ を得る。
• Dinhら（2017）の手法に従い、拡張された空間上でブロックワイドカップリング層を用いることで、ヤコビアン行列式の計算を容易に保つ。
• 周辺尤度 $p(x)$ の下界を最大化する「拡張最大尤度推定（AMLE）」を定式化し、結合空間上の直接最適化を回避する。
• 理論的分析により、ANFsがハミルトニアンODEを輸送写像として模倣することで、任意の確率分布を標準ガウス分布に普遍的に近似可能であることが示される。この際、補助変数は退化している。
• ニューラルネットワークを用いて流れの各部をパrameter化し、残差接続と正規化流れを組み合わせることで、可逆性と効率的なヤコビアン計算を保証する。

実験結果

リサーチクエスチョン

• RQ1 独立したノイズを入力空間に追加することで、計算コストを増加させることなく正規化流れの表現力を向上させることができるか？
• RQ2 標準流れが微分同相写像の制約により制限を受ける中で、ANFsがハミルトニアンODEを介して任意の確率分布を普遍的に近似できるか？
• RQ3 提案されたAMLEフレームワークは、標準正規化流れやVAEと比較して、周辺尤度の下界をよりタイトにできるか？
• RQ4 ANFsは効率的なサンプリングと尤度評価を維持しながら、密度推定および画像生成の分野で最先端の性能を達成できるか？
• RQ5 拡張された空間の使用により、標準の流れベースモデルと比較して、よりグローバルに一貫した変換が可能になる仕組みは何か？

主な発見

• ANFsは、標準的な密度推定ベンチマークで最先端の性能を達成し、ログ尤度スコアにおいて、先行する正規化流れやVAEを上回る。
• 理論的分析により、加法的カップリング層を用いたANFsが、ハミルトニアンODEを輸送写像として模倣することで、任意の確率分布を普遍的に近似可能であることが証明された。
• 実験的結果により、流れの系列が分布上で真の輸送写像に収束し、層数を増やすに従い、データと拡張変数の両方の誤差がゼロに収束することが示された。
• 実験的結果では、CIFAR-10およびCelebAにおける画像生成品質と尤度が優れており、SOTAモデルと同等またはそれ以上のログ尤度を達成した。
• AMLEは、$x$ の周辺尤度の下界を最大化する有効で妥当な訓練目的を提供し、結合分布の明示的モデリングを必要とせず、エンドツーエンド学習を可能にする。
• 拡張された空間により、データ多様体のより柔軟で位相を保存しない変形が可能となり、複雑で高次元の依存関係のモデリングが向上した。