[論文レビュー] On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows

Felix Draxler, Stefan Wahl+2 more|arXiv (Cornell University)|Feb 9, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

この論文は、特異的ネットワークや体積保存型フローに依存しない新しい理論枠組みを確立し、アフィンカップリングに基づくノーマライジングフローが確率分布の普遍的近似可能であることを証明した。著者らは、収束を保証する一層ずつの訓練手法を提案し、表現力のあるカップリング関数により、病理的でないネットワーク行動を伴わず、実用的かつ効率的な普遍性を達成できることを示した。

ABSTRACT

We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.

研究の動機と目的

• カップリングベースのノーマライジングフローの実証的成功と理論的理解のギャップを埋める。
• 特異的ネットワークに依存する既存の普遍性定理に内在する根本的制限を特定・解消する。
• KLダイバージェンスという重要な実用的損失測度において、体積保存型フローが普遍的近似可能でないことを示す。
• 逐次層訓練を用いた構成的で実用的なアフィンカップリングフローの普遍性証明を提供する。
• 表現力のあるカップリング関数の役割を明確にすることで、より効率的な分布近似を実現するための設計を支援する。

提案手法

• 層を逐次的に訓練することで、カップリングベースのノーマライジングフローに対する構成的普遍性証明を提案し、目的分布への収束を保証する。
• アフィンカップリングブロックを用い、潜在分布を回転させた後、学習されたスケールおよびシフトパラメータにより有効次元を平均0、分散1に変換する。
• 立方スプライン補間を用いて、バケット化されたデータから条件付き平均および標準偏差を推定し、カップリング関数の滑らかなパラメータ化を可能にする。
• 恒等写像との凸結合によるステップサイズ制約を適用し、訓練の安定化と有限データに起因するアーチファクトの低減を図る。
• 逐次的層最適化中の過学習を防ぐために、訓練データの反復的リサンプリングを実施する。
• 定数ヤコビアン行列式を持つ体積保存型フローと、変動ヤコビアンを持つフローを比較し、体積保存の影響を分離する。

Figure 1: Our universality proof constructs a normalizing flow by iteratively adding affine coupling blocks. We illustrate this by constructing such a flow from real data. Each block first rotates the distribution $p_{n-1}(z)$ from the previous step (first column) , then applies an affine coupling l

実験結果

リサーチクエスチョン

• RQ1 カップリングベースのノーマライジングフローは、特異的ネットワークに依存せずに確率分布の普遍的近似が可能か？
• RQ2 既存のカップリングフローの普遍性証明には、体積保存型変換が暗黙的に組み込まれており、それが実用的応用を制限するのか？
• RQ3 構成的で一層ずつの訓練手順は、実際の応用において目的分布への収束を保証できるか？
• RQ4 カップリング関数の表現力は、良好な分布近似に必要な層数にどのように影響するか？
• RQ5 ヤコビアン行列式の変動が、ノーマライジングフローの表現力に果たす役割は何か？

主な発見

• 体積保存型ノーマライジングフローは、KLダイバージェンスの下では普遍的近似可能ではなく、理論的主張とは裏腹に実用的分布学習には不適切であることが判明した。
• 既存のカップリングフローの普遍性証明は、暗黙的に体積保存型変換を構築しており、表現力が制限されるため、実用的意義に欠ける。
• 提案された一層ずつの訓練手法により、目的分布への収束を達成するノーマライジングフローが構築された。100層を用いたリング型データ分布の実験でその有効性が実証された。
• 回転とアフィンカップリングを繰り返し適用することで損失を段階的に低減し、最終的な潜在分布が標準正規分布に収束する。この手法により、正確な密度推定とサンプリングが達成された。
• ヤコビアン行列式が変動するフローは、体積保存型の対比よりも優れた性能を示し、表現力の向上には非体積保存型変換が不可欠であることが確認された。
• 理論的および実験的結果により、アフィンカップリングブロックが、特にカップリング関数が十分に表現力を持つ場合、ノーマライジングフローの強固な基盤であることが裏付けられた。

Figure 2: A normalizing flow with constant Jacobian determinant is not able to model a simple bimodal mixture (first vs second row) : The modeled density in both modes is almost identical despite their different weight in the ground truth. Also, the volume-preserving flow really has only one maximum