[論文レビュー] Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows

Brendan Leigh Ross, Jesse C. Cresswell|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文は、トレーニング可能な共形埋め込みと標準的な正規化フローを組み合わせることで、低次元多様体上にサポートされるデータに対する正確な密度推定を可能にする、新しい正規化フロー枠組みである共形埋め込みフロー（CEFs）を導入する。この手法は正確な尤度計算を維持しながら、未知の多様体上に分布するデータをモデル化でき、合成データおよび実世界のデータにおいて、効率的なサンプリング、推論、尤度推定を実現し、最先端の性能を達成する。

ABSTRACT

Normalizing flows are generative models that provide tractable density estimation via an invertible transformation from a simple base distribution to a complex target distribution. However, this technique cannot directly model data supported on an unknown low-dimensional manifold, a common occurrence in real-world domains such as image data. Recent attempts to remedy this limitation have introduced geometric complications that defeat a central benefit of normalizing flows: exact density estimation. We recover this benefit with Conformal Embedding Flows, a framework for designing flows that learn manifolds with tractable densities. We argue that composing a standard flow with a trainable conformal embedding is the most natural way to model manifold-supported data. To this end, we present a series of conformal building blocks and apply them in experiments with synthetic and real-world data to demonstrate that flows can model manifold-supported distributions without sacrificing tractable likelihoods.

研究の動機と目的

• 画像のような実世界のデータで一般的に見られる低次元多様体上にサポートされるデータのモデリングにおいて、従来の正規化フローの限界を解消すること。
• 既存の単射フロー・モデルにおける多様体構造のモデリングと正確な密度推定の間のトレードオフを克服すること。
• 内在次元とデータ多様体の幾何構造を学習しつつ、正確な尤度計算を可能にするフレームワークを開発すること。
• ヤコビアン行列式の計算が容易で、かつ可逆性を保つように設計された、合成可能で逆可換な共形レイヤーを設計すること。

提案手法

• トレーニング可能な共形埋め込み（低次元潜在空間からデータ空間への写像）と標準的な正規化フローの合成として、共形埋め込みフロー（CEFs）を提案する。
• 直交的 $k\times k$ 畳み込み、条件付き直交変換、特殊共形変換の3つの新しい可逆レイヤーを導入し、これらはすべて共形性と計算可能なヤコビアン行列式を保つように設計されている。
• 埋め込みレイヤーを共形的（角度を保存）にすることで、可逆性を維持し、変数変換の公式を用いた正確な密度推定を可能にする。
• 埋め込み用の再構成損失とフロー用の対数尤度最大化を組み合わせた混合損失関数を用い、埋め込み部とフロー部を同時に訓練可能にする。
• 多スケールフローと可逆1×1畳み込みを用いて、合成多様体（例：64次元および512次元の船の多様体）および実世界のデータセット（MNIST、CelebA）にこのフレームワークを適用する。
• 共形写像の幾何的性質を活用することで、低次元潜在空間から高次元データ空間への写像においても、計算可能なヤコビアン行列式を維持する。

実験結果

リサーチクエスチョン

• RQ1 未知の低次元多様体上にサポートされるデータを正確な密度推定を保ちつつモデリングできるように、正規化フローを拡張することは可能か？
• RQ2 尤度計算を保ちつつ、可逆的で計算可能なレイヤーとして設計された共形埋め込みは、どのようにフローに基づくモデルに統合できるか？
• RQ3 埋め込み部とフロー部を同時に訓練することで、逐次的訓練に比べて、多様体学習と密度推定の性能がどの程度向上するか？
• RQ4 共形埋め込みは、MNIST や CelebA といった実世界の画像データセットにおいて、標準的または単射フローと比較して、より優れたサンプル品質と尤度性能を達成できるか？

主な発見

• CEFs は、合成された64次元および512次元の船の多様体において、逐次的および共同訓練ベースラインを上回る最先端の尤度スコアを達成した。
• 共形埋め込みを用いた共同 CEF モデルは、合成データおよび CelebA データセットにおいて、逐次ベースラインよりも顕著に高い対数尤度を達成し、エンドツーエンド訓練の利点を示した。
• CEFs からの再構成は、標準的な正規化フローおよび単射フローと比較して、特に複雑な多様体において質的に優れており、より良い多様体整合性を示している。
• 共形埋め込みの使用により、低次元潜在空間から高次元データ空間への写像においても正確な尤度計算が可能となり、従来の単射フロー手法の主要な限界が解消された。
• CelebA において、共同 CEF モデルは対数尤度 -4.78 ビット/次元を達成し、逐次ベースラインを上回り、強力な生成モデルと競争力のある性能を示した。
• 可逆性と共形レイヤーの計算可能なヤコビアン行列式のおかげで、サンプリングと推論が効率的であり、モデル全体の完全な計算可能性が維持された。