[論文レビュー] Normalizing Flows for Probabilistic Modeling and Inference

George Papamakarios, Eric Nalisnick+3 more|arXiv (Cornell University)|Dec 5, 2019

Gaussian Processes and Bayesian Inference参考文献 133被引用数 343

ひとこと要約

この論文は正規化フローの包括的なレビューを提供し、その定義、表現力、設計原理を詳述し、確率的モデリング、推論、学習における使用を調査する。

ABSTRACT

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

研究の動機と目的

• 設計を確率的モデリングと推論に結びつけることにより、正規化フローに関する統一的な視点を提示する.
• フローに基づくモデルの表現力を特徴づけ、計算上のトレードオフを分析する.
• 一般的な確率変換とフローの関係を示し、構造化ドメインへの拡張を論じる.
• 生成モデリング、近似推論、教師あり学習を含むコアアプリケーションを要約する。

提案手法

• 正規化フローを、基底分布の逆換可能で微分可能な変換として定義し、複雑な密度をモデル化する。
• 変数変換による密度計算とヤコビ行列の決定因子の役割を説明する。
• 単純で扱いやすい変換を結合して複雑なフローを構築する（有限フロー）ことを説明し、前向き/逆向きパスとヤコビ累積を論じる。
• 前方KL（最大尤度）および逆KLのような学習目的と、モンテカルロ勾配推定量を含む。
• 代替的な発散（f-divergences、IPMs）と、それらが潜在的確率モデルの訓練に及ぼす影響を概説する。
• x-spaceとu-space間の変数変換を介して前方KLと逆KLの見方を関連づけ、KL同値性といった主要な等式を示す。
• 歴史的概観を提供し、可換性のあるヤコビ行列を重視して、自己回帰型、平面、スプラインベース、結合層などのフロー構築アプローチを分類する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布に対するフロー基盤モデルの普遍的な表現力を保証する条件は何か。
• RQ2 サンプリングと密度評価の両方で高い表現力と計算的処理可能性を両立するフローをどのように構築できるか。
• RQ3 フローの文脈で、異なる訓練目的（前方KL、逆KL、他の発散）はどのように関連するか。
• RQ4 フローは広義の確率変換とどのように結びつき、構造化ドメインや幾何に対する拡張は何か。
• RQ5 正規化フローの生成モデリング、近似推論、教師あり学習における典型的な応用は何か。

主な発見

• 正規化フローは、局所的に扱いやすい微分同相を複数結合することで、ターゲット分布の幅広い範囲を表現できる。
• 密度評価とサンプリングは、それぞれの変換の可逆性と扱いやすいヤコビ行列に依存する。
• 前方KL（最大尤度）訓練はモデルをターゲットサンプルに合わせ、逆KL訓練は基底によって誘導された分布をターゲットに合わせる。これらの視点には形式的な等価性がある。
• 基底の密度と変換の密度が共同でモデル密度を決定し、ターゲットの一部が難解な場合でも訓練を可能にする。
• 代替的な発散（f-divergencesとIPMs）は、対戦的・変分的アプローチを含む柔軟な訓練オプションを提供する。
• x-spaceとu-spaceでの訓練の同値性は、フロー最適化の統一的な見方を提供し、フローを暗黙的確率モデリングに結びつける。