[論文レビュー] The Expressive Power of a Class of Normalizing Flow Models

Zhifeng Kong, Kamalika Chaudhuri|arXiv (Cornell University)|May 31, 2020

Artificial Intelligence in Games被引用数 15

ひとこと要約

この論文は、基本的な正規化フロー・モデル（平面型、Sylvester型、ハウスホルダー型）の表現力について厳密に分析しており、1次元平面型フローは万能近似可能である一方、ReLU や滑らかな非線形性を用いた高次元フローは、過度な深さを要しない限り、複雑な分布を近似する上で根本的な制限を受けることを示している。主な結果として、特定のターゲット分布を変換するには深さが Ω(d^{1/τ−1}) に達する必要があることが判明しており、これは中程度の深さのフローが高次元において表現力に欠けることを示唆している。

ABSTRACT

Normalizing flows have received a great deal of recent attention as they allow flexible generative modeling as well as easy likelihood computation. While a wide variety of flow models have been proposed, there is little formal understanding of the representation power of these models. In this work, we study some basic normalizing flows and rigorously establish bounds on their expressive power. Our results indicate that while these flows are highly expressive in one dimension, in higher dimensions their representation power may be limited, especially when the flows have moderate depth.

研究の動機と目的

• 広く使われているが表現能力の理解が不十分な基本的正規化フロー・モデルの表現力について、形式的に理解すること。
• これらのフローがソース分布（例：正規分布）を複雑なターゲット分布にどれだけ正確に変換できるかという理論的理解のギャップを埋めること。
• 一般的なフローアーキテクチャが、特に高次元空間において、任意の分布を正確または近似的に表現できるかどうかを調査すること。
• 局所平面型およびハウスホルダー型フローを用いて特定のターゲット分布を正確に近似するための深さ要件を特定すること。

提案手法

• 平面型フローが誘導する密度の方向微分を分析することで、局所的解析を実施し、変換が局所的密度構造に与える影響に焦点を当てる。
• 特定のフロー制約下での入力分布と出力分布の全 Variation 距離をバウンディングすることで、グローバル解析を実施する。
• Courant-Fischer 定理と固有値解析を用いて、出力空間内での固定半径の球面上における密度値の変動をバウンディングする。
• Gershgorin 円定理を適用して変換行列のスペクトル拡散をバウンディングし、深さ依存の誤差バウンディングを導出する。
• ソース分布と変換済み分布の間の全 Variation 距離に対する上界を導出し、次元および非線形性の種類に依存する依存関係を示す。
• ReLU、tanh、arctan、シグモイドなどの非線形性を有するフローの挙動を分析し、非線形性が近似に必要な深さに与える影響に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ReLU 活性化関数と正規分布ソースを用いた1次元平面型フローは、有限個の区間の和集合上にサポートを持つ任意のターゲット分布を、任意の精度で近似可能か？
• RQ2 任意の深さを持つ ReLU を用いた Sylvester フローは、k 個のガウス混合分布や積分布を、別の同様の分布に正確に変換可能か？
• RQ3 原点の近傍で定数であり、外部では exp(−‖x‖₂^{1/τ}) に従って減衰するターゲット分布を近似するため、滑らかな非線形性（例：tanh、シグモイド）を有する局所平面型フローに必要な最小深さは何か？
• RQ4 ハウスホルダー型フローの近似誤差は、次元およびターゲット分布が標準正規分布に近い場合にどのようにスケーリングされるか？
• RQ5 逆写像制約が、標準的なニューラルネットワークと比較して、正規化フローの表現力をどの程度制限するか？

主な発見

• ReLU 活性化関数と正規分布ソースを用いた1次元平面型フローは万能近似可能である：有限個の区間の和集合上にサポートを持つ任意のターゲット分布を、任意の精度で近似可能である。
• ReLU を用いた Sylvester フローは、深さにかかわらず、k 個のガウス混合分布や積分布を別の同様の分布に正確に変換できない。ただし、極めて特殊な条件下では除く。
• 原点の近傍で定数であり、外部では exp(−‖x‖₂^{1/τ}) に従って減衰するターゲット分布を近似するため、滑らかな非線形性（例：tanh、シグモイド）を有する局所平面型フローには深さ Ω(d^{1/τ−1}) が必要である。
• ターゲット分布が標準正規分布に近い場合、ハウスホルダー型フローも同様のターゲット分布クラスを近似するためには深さ Ω(d^{1/τ−1}) が必要である。
• フローのパrameter に特定の条件が成り立つ場合、ソース分布と変換済み分布の間の全 Variation 距離は O(d^{−κ}) でバウンディングされ、パラメータのスパarsity が高くなるほど近似誤差が減少することを示唆している。
• 滑らかな非線形性（例：tanh やシグモイド）を用いても、特に高次元においては、特定のターゲット分布を近似するためには著しく大きな深さを要することが、分析から明らかになった。