[論文レビュー] On the expressivity of bi-Lipschitz normalizing flows

Alexandre Vérine, Benjamin Négrevergne+2 more|arXiv (Cornell University)|Jul 15, 2021

Image and Signal Denoising Methods参考文献 16被引用数 4

ひとこと要約

本稿は、バイリプシッツ正規化フローの表現力制限を調査し、ターゲット分布とその近似との間の全 Variation (TV) 距離に対する新たな下界を導出する。バイリプシッツ制約、特に前向きおよび逆向きのリプシッツ定数の有界性が、高密度または低密度領域を有する複雑なデータ分布の正確なモデリングを妨げることを示し、その解決策として改善された潜在分布の使用を提案する。

ABSTRACT

An invertible function is bi-Lipschitz if both the function and its inverse have bounded Lipschitz constants. Nowadays, most Normalizing Flows are bi-Lipschitz by design or by training to limit numerical errors (among other things). In this paper, we discuss the expressivity of bi-Lipschitz Normalizing Flows and identify several target distributions that are difficult to approximate using such models. Then, we characterize the expressivity of bi-Lipschitz Normalizing Flows by giving several lower bounds on the Total Variation distance between these particularly unfavorable distributions and their best possible approximation. Finally, we discuss potential remedies which include using more complex latent distributions.

研究の動機と目的

• バイリプシッツ正規化フローが複雑なデータ分布を近似する際の表現力制限を分析すること。
• バイリプシッツモデルが挑戦を受ける特定のデータ分布の特徴（例えば、高密度領域や低密度領域）を同定すること。
• ターゲット分布とその近似との間の全 Variation 距離に対する新たな理論的下界を導出すること。
• 特にガウス・ミックスチャージド・ポテンシャルのようなより複雑な潜在分布を用いることで、表現力制限を緩和する方法を検討すること。
• サポートのトポロジーに制限を設けない、任意のデータ分布に適用可能な理論的枠組みを提供すること。

提案手法

• 前向きマッピングのリプシッツ定数 $L_1$ に基づく一般化されたTV距離の下界を導出する。これは任意のデータ分布に適用可能である。
• 逆マッピングのリプシッツ定数 $L_2$ に依存する第二の下界を確立し、低密度領域のモデリングにおける制限を強調する。
• $L_1$ と $L_2$ の両方に依存する第三の下界を導入し、表現力のトレードオフを補足的に明らかにする。
• 学習可能な平均と分散 $\sigma_i$ およびモード数 $K$ を組み込んだガウス・ミックスチャージド潜在分布にこれらの下界を適応する。
• $K$ と $\sigma_i$ が下界に与える影響を分析し、$K$ を増やすことや $\sigma_i$ を学習させることで近似誤差を軽減できることを示す。
• 混合モデルや連続的パーティショニング手法の訓練における課題について論じ、それらの複雑さと不安定性を指摘する。

実験結果

リサーチクエスチョン

• RQ1 前向きおよび逆向きマッピングにおけるバイリプシッツ制約が、複雑なデータ分布を近似する正規化フローの能力をどのように制限するか。
• RQ2 バイリプシッツ制約下で、ターゲット分布とその近似との間の全 Variation 距離に対する理論的下界は何か。
• RQ3 データ空間における高密度領域および低密度領域が、バイリプシッツ正規化フローにおける近似誤差にどのように影響するか。
• RQ4 ガウス・ミックスチャージド潜在分布を用いることで、TV距離の下界を低下させ、表現力を向上させられるか。
• RQ5 複雑な潜在分布を用いたモデルの訓練における、実用的および理論的課題は何か。

主な発見

• 本稿は、前向きマッピングのリプシッツ定数 $L_1$ に依存するTV距離の下界を確立し、データが密集している領域では避けられない近似誤差が生じることを示している。
• 第二の下界は、逆マッピングのリプシッツ定数 $L_2$ に依存し、高密度クラスタ間の低密度領域も近似誤差を引き起こすことを示している。
• 第三の下界は $L_1$ と $L_2$ の両方に依存し、改善の一方が他方を悪化させるというトレードオフを明らかにしている。一般に表現力の向上は得られない。
• $K$ モードと学習可能な分散 $\sigma_i$ を有するガウス・ミックスチャージド潜在分布を用いる場合、下界は $K$ の増加に伴い上昇するが、$\sigma_i$ を学習させることで補償可能である。これは近似の向上への道筋を示唆する。
• 理論的には有望であるが、混合モデルベースやパーティショニング手法に基づく正規化フローの実用的訓練は、不安定性や $K$ のようなハイパーパramータを設定するための効率的でない手法の欠如により、依然として困難である。
• 結果から、バイリプシッツ制約は特定のデータ分布に対して表現力を本質的に制限しており、その解決策には慎重なアーキテクチャ設計と訓練戦略が必要であることが示唆される。