[論文レビュー] Deep Diffeomorphic Normalizing Flows

Hadi Salman, Payman Yadollahpour+2 more|arXiv (Cornell University)|Oct 8, 2018

Model Reduction and Neural Networks参考文献 8被引用数 11

ひとこと要約

本稿では、流体力学にインspiredされた微分同相写像再帰ニューラルネットワークを用いて事後分布の近似をモデル化する、新たな正規化フロー・アーキテクチャであるDeep Diffeomorphic Normalizing Flows (DDNF)を提案する。残留RNNブロックによる連続的微分同相写像変換の近似を通じて、柔軟で逆写像可能かつ微分可能な事後分布推論を実現し、MNISTおよびCIFAR-10において尤度性能が向上し、ベースラインのVAE、平面フロー、IAFを上回る性能を発揮する。

ABSTRACT

The Normalizing Flow (NF) models a general probability density by estimating an invertible transformation applied on samples drawn from a known distribution. We introduce a new type of NF, called Deep Diffeomorphic Normalizing Flow (DDNF). A diffeomorphic flow is an invertible function where both the function and its inverse are smooth. We construct the flow using an ordinary differential equation (ODE) governed by a time-varying smooth vector field. We use a neural network to parametrize the smooth vector field and a recursive neural network (RNN) for approximating the solution of the ODE. Each cell in the RNN is a residual network implementing one Euler integration step. The architecture of our flow enables efficient likelihood evaluation, straightforward flow inversion, and results in highly flexible density estimation. An end-to-end trained DDNF achieves competitive results with state-of-the-art methods on a suite of density estimation and variational inference tasks. Finally, our method brings concepts from Riemannian geometry that, we believe, can open a new research direction for neural density estimation.

研究の動機と目的

• 単純な構造的事後分布の代わりに、より柔軟でフローに基づく分布を用いることで、変分推論における事後分布近似を改善すること。
• 平面フローやIAFフローといった既存の正規化フローの限界を克服するため、粘性流体の運動にインspiredされた連続的で滑らかな変形をモデル化すること。
• スケーラブルな事後分布推定を可能にするために、逆写像性と効率的なヤコビアン行列式の計算を維持するフローアーキテクチャを開発すること。
• RNNベースの微分同相写像フローが、既存の手法よりもタイトな変分境界とより良い尤度推定を達成できることを示すこと。

提案手法

• 本手法は、標準正規事前分布を微分同相写像変換することで事後分布をモデル化し、連続的時間フローを近似するために残留RNNアーキテクチャを用いる。
• 各フロー段階は、速度場を介した小さな微分同相写像変形として定義され、全体の変換はこれらの小さなステップの合成として計算される。
• ヤコビアンの対数行列式は、テイラー展開を用いて小さな変形の対数行列式の和として近似され、効率的な計算が可能になる。
• デコーダが入力データを再構築するVAEフレームワーク内で、エンドツーエンドで学習される。フローよりも複雑な事後分布構造を学習するエンコーダが構築される。
• 数値的安定性を高め、正確な逆写像性を保証するために、正則化を用いて逆写像の一貫性を促進する。
• 複数の定常速度場をスタックすることで構築される非定常速度場を用いることで、より豊かな変換ダイナミクスが実現される。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのアーキテクチャは、変分推論における事後分布近似のための連続的微分同相写像フローを効果的に近似できるか？
• RQ2 RNNブロックの数がODE近似の精度および得られる尤度性能にどのように影響するか？
• RQ3 流体力学的運動に基づく微分同相写像フローは、平面フローやIAFフローに比べ、より複雑な事後分布構造を捉えることができるか？
• RQ4 逆写像一貫性正則化は、学習されたフローの安定性と品質をどの程度向上させるか？
• RQ5 提案手法は、MNISTやCIFAR-10といった標準ベンチマークで、既存の正規化フローベースラインを上回る尤度を達成できるか？

主な発見

• 提案されたDeep Diffeomorphic Normalizing Flowは、ヴァニラVAE、平面正規化フロー、IAFに比べ、MNISTおよびCIFAR-10における負の対数尤度が顕著に低くなる。
• RNNブロックの数を増やすことでODE近似のL2誤差が減少し、8つのブロックで安定した性能のカーブの膝点に達することが確認された。
• 逆写像誤差はRNNブロックの増加に伴い減少し、より小さな統合ステップが数値的精度とフローの逆写像性を向上させることを裏付けた。
• モデルはより柔軟な事後分布を実現し、タイトな変分境界と優れた生成性能を達成した。
• 逆写像一貫性正則化の導入により、より安定で正確なフロー逆写像が実現され、学習の安定性が向上した。
• ベンチマークデータセットにおける優れた尤度スコアから、このアーキテクチャが複雑な事後分布を効果的にモデル化できていることが裏付けられた。