[論文レビュー] Gaussianization Flows

Chenlin Meng, Song Yang+2 more|arXiv (Cornell University)|Mar 4, 2020

Gaussian Processes and Bayesian Inference参考文献 11被引用数 7

ひとこと要約

この論文では、学習可能な反復的ガウス化（Householder変換を用いて）と微分可能な混合ロジスティック累積分布関数（CDF）を活用することで、効率的な尤度計算と高速かつ正確な逆変換を実現する、正規化フロー・モデルであるガウス化フロー（GF）を提案する。GFは連続分布のユニバーサル・アプロクシメーターであり、データ不足や分布シフトの下でも、Real NVP、Glow、FFJORD、MAFを凌駃する頑健性と一般化性能を示し、表形式の密度推定において最先端または競争力のある性能を達成する。

ABSTRACT

Iterative Gaussianization is a fixed-point iteration procedure that can transform any continuous random vector into a Gaussian one. Based on iterative Gaussianization, we propose a new type of normalizing flow model that enables both efficient computation of likelihoods and efficient inversion for sample generation. We demonstrate that these models, named Gaussianization flows, are universal approximators for continuous probability distributions under some regularity conditions. Because of this guaranteed expressivity, they can capture multimodal target distributions without compromising the efficiency of sample generation. Experimentally, we show that Gaussianization flows achieve better or comparable performance on several tabular datasets compared to other efficiently invertible flow models such as Real NVP, Glow and FFJORD. In particular, Gaussianization flows are easier to initialize, demonstrate better robustness with respect to different transformations of the training data, and generalize better on small training sets.

研究の動機と目的

• 効率的な尤度計算と高速かつ正確なサンプル生成を両立できる正規化フロー・モデルの開発。
• 既存のフローモデルの表現力、初期化、およびデータ再パラメータライゼーションに対する頑健性の制限を解決すること。
• 反復的ガウス化を理論的基盤として用い、ユニバーサル近似性を持つ、計算可能でトレーニング可能なフローアーキテクチャを構築すること。
• 特にデータ正規化が不安定な状況下でも、低データ環境および分布シフト下での一般化と頑健性の向上。

提案手法

• 固定された線形マッピングに代えて、学習可能なパラメータを有するスタックド・ハウスホルダー変換を用いて反復的ガウス化をパラメータライズする。
• 微分可能な混合ロジスティック分布を用いて周辺ガウス化ステップをモデル化し、閉形式でのヤコビアン行列式の計算を可能にする。
• 線形（ハウスホルダー）および要素ごとの非線形（CDF逆変換）変換を組み合わせたガウス化モジュールを構築し、両方とも可逆かつ微分可能であることを保証する。
• 複数のガウス化モジュールをスタックして、尤度が計算可能で、バックプロパゲーションによる効率的逆変換が可能な深層フローアーキテクチャを構築する。
• 混合ロジスティック成分の初期化にロジスティックカーネルを用いたカーネル密度推定を適用し、学習の安定性と頑健性を向上させる。
• 変数変換の公式を用いて、最大尤度推定によりモデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 反復的ガウス化に基づくフローモデルは、効率的な尤度評価と正確かつ高速な逆変換を両立できるか？
• RQ2 提案されたガウス化フロー・アーキテクチャは、正則性条件下で連続確率分布のユニバーサル・アプロクシメーターとみなせるか？
• RQ3 既存の正規化フローと比較して、低データ環境下での性能はいかがなっているか？
• RQ4 標準的な正規化仮定を破るようなデータ再パラメータライゼーション（例：立方体変換やアフィン変換）に対して、モデルの頑健性はどの程度か？
• RQ5 訓練データが少ない、または分布がシフトした状況下でも、モデルは良好に一般化できるか？

主な発見

• GFは、表形式データセットにおいて、MINibooneでは-4.41 nats、GASでは47.69 natsのテスト損失を達成し、多くの設定でReal NVP、Glow、FFJORDを上回る最先端または競争力のある負の対数尤度を達成している。
• GFは、500サンプルに制限された学習データでも、特にHEPMASSおよびMINibooneにおいて、FFJORDやNAFを著しく上回る優れた一般化性能を示している。
• GFは立方体変換やアフィン変換などのデータ変換に対しても安定した性能を維持しているが、MAF-DDSFはNaNを出力し、FFJORDは収束問題を示すなど、他のモデルはこのようなシフト下で問題を引き起こす。
• GFは、データ再パラメータライゼーションに対してより頑健であり、全テスト変換およびデータセットで一貫した性能を示している。一方、Real NVP、Glow、MAFは特定の変換設定で失敗する。
• 混合ロジスティック成分の初期化にカーネル密度推定を用いることで、GFは初期化が容易になり、学習の安定性とデータ再パラメータライゼーションへの適応性が向上する。
• 理論的分析により、GFが弱い正則性条件下で連続分布のユニバーサル・アプロクシメーターであることが確認された。これは、反復的ガウス化との関連に起因する。