[論文レビュー] MetFlow: A New Efficient Method for Bridging the Gap between Markov Chain Monte Carlo and Variational Inference

Achille Thin, Nikita Kotelevskii+5 more|arXiv (Cornell University)|Feb 27, 2020

Markov Chains and Monte Carlo Methods参考文献 39被引用数 5

ひとこと要約

MetFlowは、正規化フローを用いて新しい遍歴的MCMCカーネル族における提案分布を生成することで、変分推論（VI）とマルコフ連鎖モンテカルロ（MCMC）を組み合わせる新規手法を提案する。従来の手法とは異なり、逆方向カーネルを回避し、再パラメータ化トリックを用いたエンド・ツー・エンドの微分可能訓練を可能にし、高次元問題における優れた計算効率とマルチモーダルな事後分布カバレッジを達成する。

ABSTRACT

In this contribution, we propose a new computationally efficient method to combine Variational Inference (VI) with Markov Chain Monte Carlo (MCMC). This approach can be used with generic MCMC kernels, but is especially well suited to extit{MetFlow}, a novel family of MCMC algorithms we introduce, in which proposals are obtained using Normalizing Flows. The marginal distribution produced by such MCMC algorithms is a mixture of flow-based distributions, thus drastically increasing the expressivity of the variational family. Unlike previous methods following this direction, our approach is amenable to the reparametrization trick and does not rely on computationally expensive reverse kernels. Extensive numerical experiments show clear computational and performance improvements over state-of-the-art methods.

研究の動機と目的

• 標準的なVIが制限的な変分族に依存するという限界と、MCMCが混合が遅く計算コストが高いという問題を解決すること。
• 正規化フローの表現力とMCMCの理論的保証を組み合わせた微分可能でスケーラブルなフレームワークを構築することで、VIとMCMCの溝を埋めること。
• ハイブリッドVI-MCMC手法における計算コストの高い逆方向カーネルの必要性を排除し、初期分布とMCMC遷移の共同最適化を可能にすること。
• 変分オートエンコーダーや複雑なベイジアンモデルにおける高次元でマルチモーダルな事後分布において、モードカバレッジと多様性を向上させることで、事後分布近似の質を向上させること。
• MALA や HMC などの標準MCMCカーネルと互換性があり、詳細釣合せとターゲット分布への不変性を維持しながら、一般用途で使用可能な再パラメータ化可能なフレームワークを提供すること。

提案手法

• Kステップ後のマルコフ連鎖の周辺分布に依存する新しいELBO目的関数を導入し、初期変分分布とMCMC遷移カーネルの共同最適化を可能にする。
• 提案分布が正規化フローを介して生成される、決定的MCMCカーネルの族MetFlowを提案し、ターゲット分布の不変性を保証するとともに混合性を向上させる。
• 再パラメータ化トリックを用いてMCMC遷移を逆方向カーネルを必要とせず、バックプロパゲーションを可能にし、エンド・ツー・エンドの訓練を実現する。
• 可逆でトレーニング可能な写像（例：R-NVPブロック）を用いたフローに基づく変換系列を用い、複雑で柔軟な提案分布を生成することで、変分族の表現力を向上させる。
• ステップごとに固定およびランダムなノイズ入力を用いて、多様性を制御するため、早期停止とADAM最適化を用いた確率的勾配降下法でMetFlowパラメータを訓練する。
• エンコーダー（平均場近似）を固定することでアンモタイズド推論をサポートし、各データポイントの条件付き事後分布を近似するMetFlowを訓練することで、スケーラブルなベイジアン推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 逆方向カーネルを回避し、初期分布と遷移の共同最適化を可能にする微分可能で再パラメータ化可能なMCMCベースの変分推論フレームワークを設計できるか？
• RQ2 MCMCにおける正規化フローを提案分布として用いることで、高次元でマルチモーダルな事後分布における変分近似の表現力と精度がどの程度向上するか？
• RQ3 ノイズ注入戦略（決定的、擬似ランダム、完全ランダム）の選択が、MetFlowにおける事後分布サンプルの多様性と質にどのように影響するか？
• RQ4 MNIST混合モデルや画像補完タスクなどの複雑なベンチマークにおいて、MetFlowは最先端のVIおよびハイブリッドVI-MCMC手法よりも優れたサンプリング品質と計算効率を達成できるか？
• RQ5 バックプロパゲーションによる効率的でスケーラブルな訓練を可能にしつつ、MetFlowは詳細釣合せとターゲット分布への不変性を維持できるか？

主な発見

• MetFlowは、標準的な正規化フローが単一モードに収束するのとは対照的に、MNIST数字の混合分布などマルチモーダルな分布において優れた事後分布近似品質を達成し、多様でマルチモーダルな構造を捉える。
• 画像補完タスクでは、0、3、6、9などの異なる初期数字に対して、多様で現実的と思われる再構成を生成し、複雑な潜在空間の効果的な探索を示している。
• ノイズを各ステップで再サンプリングする完全ランダム設定では、生成されたサンプルの多様性が最も高くなるが、収束までにより多くの訓練エポックを要する。
• 質的サンプルの観察から、MetFlowは平均場VIやNAFベースのVIよりも事後分布のマルチモーダル性を効果的に捉えていることが示されている。
• MNISTで192バッチ（1バッチ250サンプル）を用い、150エポックにわたって安定した訓練が可能であり、サンプリング品質と計算効率の点で最先端のパフォーマンスを達成している。
• アブレーションスタディにより、フローに基づく提案分布と逆方向カーネルの排除というMetFlowの設計が、従来のハイブリッドVI-MCMC手法に比べ、より安定的で表現力のある推論を実現していることが確認された。