[論文レビュー] Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows

Holden Lee, Chirag Pabbaraju+2 more|arXiv (Cornell University)|Jul 6, 2021

Image and Signal Denoising Methods参考文献 30被引用数 10

ひとこと要約

この論文は、入力を独立したガウス分布でパディングすることにより、任意の対数凹型分布が、良好に条件付けられたアフィンカップリング正規化流れによって普遍的に近似可能であることを確立している。これは正規化流れの表現における重要な理論的ギャップを解消するものである。著者らはアフィンカップリングを、非定常ラングジュアンダイナミクスおよびヘノン型写像と結びつけ、ガウスパディングによる訓練の安定性と良好な条件付けの経験的成果の理論的裏付けを提供する。

ABSTRACT

Normalizing flows are a widely used class of latent-variable generative models with a tractable likelihood. Affine-coupling (Dinh et al, 2014-16) models are a particularly common type of normalizing flows, for which the Jacobian of the latent-to-observable-variable transformation is triangular, allowing the likelihood to be computed in linear time. Despite the widespread usage of affine couplings, the special structure of the architecture makes understanding their representational power challenging. The question of universal approximation was only recently resolved by three parallel papers (Huang et al.,2020;Zhang et al.,2020;Koehler et al.,2020) -- who showed reasonably regular distributions can be approximated arbitrarily well using affine couplings -- albeit with networks with a nearly-singular Jacobian. As ill-conditioned Jacobians are an obstacle for likelihood-based training, the fundamental question remains: which distributions can be approximated using well-conditioned affine coupling flows? In this paper, we show that any log-concave distribution can be approximated using well-conditioned affine-coupling flows. In terms of proof techniques, we uncover and leverage deep connections between affine coupling architectures, underdamped Langevin dynamics (a stochastic differential equation often used to sample from Gibbs measures) and H\\'enon maps (a structured dynamical system that appears in the study of symplectic diffeomorphisms). Our results also inform the practice of training affine couplings: we approximate a padded version of the input distribution with iid Gaussians -- a strategy which Koehler et al.(2020) empirically observed to result in better-conditioned flows, but had hitherto no theoretical grounding. Our proof can thus be seen as providing theoretical evidence for the benefits of Gaussian padding when training normalizing flows.

研究の動機と目的

• 良好に条件付けられたアフィンカップリング正規化流れが、滑らかで well-behaved な分布を普遍的に近似可能かどうかを解明すること。
• 訓練の安定性を高めるガウスパディングの経験的成果の理論的裏付けを提供すること。
• 実務でよく見られる対数凹型分布が、良好に条件付けられた流れによって近似可能であることを確立すること。
• アフィンカップリングアーキテクチャ、非定常ラングジュアンダイナミクス、ヘノン型ダイナミカルシステムの間の深い数学的関係を解明すること。

提案手法

• アフィンカップリング流れと非定常ラングジュアンダイナミクス（ギブス測度のサンプリングに用いられる確率的微分方程式）の関係を活用する。
• 流れを確定的ダイナミカルシステムの摂動とみなして解析し、ODEの流れ写像と変分方程式による感度解析を用いる。
• グローワルの不等式を適用して、小さな摂動下での流れ写像における誤差伝搬をバインドし、安定性と良好な条件付けを保証する。
• 流れ写像の摂動的展開を用いて、真の流れと近似流れの差が $O(\epsilon^2)$ であることを示し、高い精度を保証する。
• 元のデータに独立したガウス分布を追加するパッド入力分布を導入し、良好に条件付けられたヤコビ行列を可能にする。
• 流れのダイナミクスを軌道に基づいて解析し、流れを非線形性が制御されたODE系に従う時間発展変換として扱う。

実験結果

リサーチクエスチョン

• RQ1 良好に条件付けられたアフィンカップリング流れは、対数凹型分布を普遍的に近似可能か？
• RQ2 なぜガウスパディングが正規化流れの訓練安定性を向上させるのか？理論的裏付けはあるか？
• RQ3 アフィンカップリング流れ、非定常ラングジュアンダイナミクス、ヘノン型写像の間にはどのような数学的関係があるか？
• RQ4 滑らかで well-behaved な分布に対しても、悪く条件付けられたヤコビアンなしで普遍的近似が達成可能か？

主な発見

• 任意の $\mathbb{R}^d$ 上の対数凹型分布は、入力を独立したガウス分布でパディングすることで、良好に条件付けられたヤコビアンを持つアフィンカップリング流れによって、任意に近い精度で近似可能である。
• コンパクトな時間区間上で $C^r$ 位相において、真の流れと摂動された流れの間の近似誤差は $O(\epsilon^2)$ である。これは高い精度を保証する。
• ターゲット分布の滑らかさにかかわらず、ヤコビアンの条件数が有界に保たれることを示し、従来の普遍的近似結果における重要な制限を解消した。
• 理論的解析により、ガウスパディングがゼロパディングやパディングなしよりも良好に条件付けられた流れをもたらすことが確認され、その経験的成果の背後にある理論的根拠が裏付けられた。
• アフィンカップリング流れ、非定常ラングジュアンダイナミクス、ヘノン型ダイナミカルシステムの間の深い関係が確立され、統一的なダイナミカルシステムの視点が明らかになった。