[論文レビュー] Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals

James A. Brofos, Marylou Gabrié+2 more|arXiv (Cornell University)|Oct 25, 2021

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、正規化フローを提案分布として用い、サンプリング中に確率的勾配降下法によりそのパラメータを更新する、適応的独立メトロポリス・ハスティングスサンプラーを提案する。この手法は弱い条件下でも目標分布への収束を保証し、特に多モーダル構造を示す1次元 $φ^4$ 細胞理論モデルを含む複雑な目標分布において、優れた混合性とサンプリング効率を示す。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods are a powerful tool for computation with complex probability distributions. However the performance of such methods is critically dependant on properly tuned parameters, most of which are difficult if not impossible to know a priori for a given target distribution. Adaptive MCMC methods aim to address this by allowing the parameters to be updated during sampling based on previous samples from the chain at the expense of requiring a new theoretical analysis to ensure convergence. In this work we extend the convergence theory of adaptive MCMC methods to a new class of methods built on a powerful class of parametric density estimators known as normalizing flows. In particular, we consider an independent Metropolis-Hastings sampler where the proposal distribution is represented by a normalizing flow whose parameters are updated using stochastic gradient descent. We explore the practical performance of this procedure on both synthetic settings and in the analysis of a physical field system and compare it against both adaptive and non-adaptive MCMC methods.

研究の動機と目的

• サンプリング中に継続的に正規化フローのパラメータを更新する理論的裏付けのある適応的MCMC手法の開発。
• 正規化フロー提案分布を含む適応的MCMCの収束理論を拡張し、弱い条件下でも幾何的エルゴード性を保証する。
• 統計的場の理論に由来するような高次元および多モーダル分布におけるサンプリング効率の向上。
• 勾配に基づく適応を用いて局所的に提案分布を学習することで、MCMCにおけるパrameterチューニングの課題に取り組む。
• 合成的目標および物理的場のシステムにおける手法の実証的検証を通じて、より速い混合性と正確な統計的推定を示す。

提案手法

• 本手法は、ステップ $n$ においてパラメータ $\theta_n$ でパラメータ化された正規化フローを提案分布とする独立メトロポリス・ハスティングスサンプラーを用いる。
• パラメータ $\theta_n$ は、目標分布と提案分布の対数密度比に基づく確率的勾配降下法により更新される。
• 適応ルールは、確率 $1 - \alpha_{n-1}$ で $\theta_n = \theta_{n-1} - \epsilon \nabla_\theta \log \frac{\tilde{\pi}_{\theta_{n-1}}(\tilde{X})}{\pi(\tilde{X})}$ と定義され、それ以外の場合は $\theta_{n-1}$ を保持する。
• 現在のフローからの受理サンプルを用いて提案分布を更新することで、疑似尤度に基づく適応戦略を実現する。
• 均一なエルゴード性を保証し、提案分布の劣化を防ぐために理論的分析で混合分布を用いる。
• 遷移核の距離空間における連続性およびマコフ連鎖の族の均一エルゴード性を用いて理論的収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 独立メトロポリス・ハスティングスサンプラーにおいて、正規化フローのパラメータを継続的に適応させることで、目標分布への収束が保たれる条件は何か？
• RQ2 正規化フローの提案分布に対する確率的勾配適応は、適応的MCMCにおいて幾何的エルゴード性を達成できるか？
• RQ3 多モーダルおよび高次元の目標分布において、適応的正規化フローMCMCの性能は、非適応的および標準的MCMC手法と比べてどうか？
• RQ4 相転移と強いエネルギー障壁を示す $\phi^4$ 細胞理論モデルから、この手法は効率的にサンプリングできるか？
• RQ5 疑似尤度目的関数は、サンプリング中の適応の安定化および加速にどのような役割を果たすか？

主な発見

• 正規化フローのパラメータの継続的適応が、フローおよび目標密度関数の弱い正則性条件下で幾何的エルゴード性を達成することを示した。
• 初期状態が1つのモードで一様分布から出発しても、$\phi^4$ 細胞モデルにおいて50/50のモード重みを正確に回復した。
• 適応的提案分布学習のおかげで、2つのモード間での混合が効果的に実現されたが、標準的なランジュバンサンプラーでは十分な時間内に混合しなかった。
• サンプリング全体を通して高い受容率を維持しており、フローが目標分布に効果的に適応していることが示された。
• バッチ化された勾配更新を用いた疑似尤度目的関数の導入により、時間経過に伴う安定的かつ効率的なパラメータ適応が可能になった。
• 理論的枠組みは決定的および確率的適応スキームの両方を支持しており、実世界のMCMCワークフローへの応用可能性を広げた。