[論文レビュー] Implicit Normalizing Flows

Cheng Lu, Jianfei Chen+3 more|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 5

ひとこと要約

この論文は、根の特定方程式 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ を用いて逆写像を暗黙的に定義する、正規化フローの一般化である暗黙的正規化フロー（ImpFlows）を紹介する。これにより、ResFlows よりも豊かな表現能力が得られ、パラメータ数と計算コストが同等の条件下で、密度モデリングおよび分類ベンチマークで最先端の性能を達成する。ResFlows が非無視可能な誤差で近似する関数を、ImpFlows は正確にモデル化できることで、ResFlows を上回る性能を発揮する。

ABSTRACT

Normalizing flows define a probability distribution by an explicit invertible transformation $\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$. In this work, we present implicit normalizing flows (ImpFlows), which generalize normalizing flows by allowing the mapping to be implicitly defined by the roots of an equation $F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$. ImpFlows build on residual flows (ResFlows) with a proper balance between expressiveness and tractability. Through theoretical analysis, we show that the function space of ImpFlow is strictly richer than that of ResFlows. Furthermore, for any ResFlow with a fixed number of blocks, there exists some function that ResFlow has a non-negligible approximation error. However, the function is exactly representable by a single-block ImpFlow. We propose a scalable algorithm to train and draw samples from ImpFlows. Empirically, we evaluate ImpFlow on several classification and density modeling tasks, and ImpFlow outperforms ResFlow with a comparable amount of parameters on all the benchmarks.

研究の動機と目的

• 明示的正規化フロー、特にリーマン・フロー（ResFlows）の表現力の制限を克服すること。ResFlows はリプシッツ連続性の制約を受けており、特定の逆写像関数を正確に表現できない。
• 密度推定およびサンプリングに実用的である、暗黙的逆写像変換の実行可能フレームワークを構築すること。
• 暗黙的フローが、ResFlows が非無視可能な誤差で近似する関数を、単一ブロックでも正確に表現できることを示すこと。
• 暗黙の微分と根の特定手順を用いて、ImpFlows のスケーラブルな学習および推論アルゴリズムを設計すること。

提案手法

• ImpFlows は、与えられた $\mathbf{x}$ に対して根の特定手順により得られる $\mathbf{z}$ を用いて、方程式 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ の根として暗黙的に変換を定義する。
• ImpFlow の各ブロックは、リーマン・フロー・ブロックと、別のリーマン・フロー・ブロックの逆写像の合成として構成され、逆写像性と容易なヤコビアン行列式の推定を保証する。
• ヤコビアンの対数行列式は、暗黙関数定理に基づく確率的推定器を用いて推定され、微分可能な学習が可能になる。
• 反復的根の特定と暗黙の微分を用いた、スケーラブルなサンプリングおよび密度推定アルゴリズムが開発され、計算コストは ResFlows と同程度のオーバーヘッドとなる。
• 逆写像性と数値的安定性を確保するため、残留ブロックにスペクトル正規化とリプシッツ制約を適用する。
• 最適化には Adam を用い、学習率は $10^{-3}$ に設定し、対数行列式項は、項数の幾何分布またはポisson分布に基づいて推定する。

実験結果

リサーチクエスチョン

• RQ1 根の特定方程式によって定義される暗黙的逆写像は、明示的写像と比較して、正規化フローにおいてより豊かな関数空間を提供できるか？
• RQ2 単一ブロックの ImpFlow は、複数ブロックの ResFlows が非無視可能な誤差で近似する関数を正確に表現できるか？
• RQ3 パラメータ数と計算コストが同等の条件下で、ImpFlows は ResFlows よりも優れた密度モデリング性能を達成できるか？
• RQ4 暗黙的フローの学習およびサンプリングはスケーラブルかつ実用的であり、管理可能な計算コストオーバーヘッドを伴うか？

主な発見

• ImpFlows は、画像および表形式の密度モデリングタスクを含む、すべてのテストベンチマークで ResFlows を上回る性能を示し、パラメータ数と計算コストは同等である。
• CIFAR10 データセットでは、ImpFlows がテストNLL 2.88 bits/dim を達成したのに対し、200ブロックの ResFlow は 2.92 bits/dim を記録した。
• MINIBOONE データセットでは、20ブロックの ImpFlow がテストNLL 0.48 bits/dim を達成し、データ不足のため過学習を起こす ResFlow よりも顕著に優れた性能を示した。
• 理論的分析により、単一ブロックの ImpFlows の関数空間は、2ブロックの ResFlows よりも厳密に豊かであり、非無視可能な ResFlow 近似誤差を持つ関数を正確に表現可能であることが示された。
• 実験的結果から、ImpFlows と ResFlows の性能差は、深さが増すにつれて縮小する傾向にあり、これは ImpFlows が少ないブロック数でより高い表現能力を達成できることを示している。