[論文レビュー] Gradient-based Adaptive Markov Chain Monte Carlo

Michalis K. Titsias, Πέτρος Δελλαπόρτας|arXiv (Cornell University)|Nov 4, 2019

Markov Chains and Monte Carlo Methods被引用数 10

ひとこと要約

本稿では、一般化された速度測度—最大エントロピー正則化目的関数—を用いて提案分布を最適化することで、拒否されたサンプルでさえも活用可能な勾配ベースの適応的MCMCフレームワークを提案する。再パラメータライゼーションテクニックを用いた確率的勾配最適化により、従来のMCMCおよびハミルトニアンMCMC手法を上回るサンプリング効率を達成し、特に高次元および重尾分布のターゲットにおいて顕著である。

ABSTRACT

We introduce a gradient-based learning method to automatically adapt Markov chain Monte Carlo (MCMC) proposal distributions to intractable targets. We define a maximum entropy regularised objective function, referred to as generalised speed measure, which can be robustly optimised over the parameters of the proposal distribution by applying stochastic gradient optimisation. An advantage of our method compared to traditional adaptive MCMC methods is that the adaptation occurs even when candidate state values are rejected. This is a highly desirable property of any adaptation strategy because the adaptation starts in early iterations even if the initial proposal distribution is far from optimum. We apply the framework for learning multivariate random walk Metropolis and Metropolis-adjusted Langevin proposals with full covariance matrices, and provide empirical evidence that our method can outperform other MCMC algorithms, including Hamiltonian Monte Carlo schemes.

研究の動機と目的

• 拒否されたステートを無視する従来の適応的MCMC手法の遅い適応を是正する。
• 初期パラメータの選択に敏感なグリーディーな適応戦略の限界を克服する。
• ターゲットの対数密度の勾配情報のみを用いて、ランダムウォークおよびランゲビン提案分布における完全な共分散行列の学習を可能にするスケーラブルで勾配ベースの手法を開発する。
• 高い受容率と提案分布の多様性の両立を促進する一般化された速度測度を最大化することで、サンプリング効率を向上させる。
• 高次元およびマルチスケールのターゲット分布、特にベイジアンロジスティック回帰や多変量正規分布において、より速い収束と優れた混合性能を実現する。

提案手法

• 提案パラメータの最適化を促進するため、エントロピー正則化目的関数として一般化された速度測度を定義し、高い受容率と提案の多様性の両立を図る。
• 再パラメータライゼーションテクニックを用いた確率的勾配最適化により、MCMC遷移カーネルを逆伝播し、提案パラメータを更新する。
• 完全な共分散行列をコレスキー分解によってパrameter化した多変量ランダムウォークメトロポリス（RWM）およびメトロポリス補正付きランゲビン（MALA）アルゴリズムに本手法を適用する。
• 受容されたステートだけでなく、拒否された候補の勾配も活用することで、チェーンが移動しなくても適応が可能になる。
• オンライン学習と学習率スケジュールを用いて提案パラメータを最適化し、サンプリング中に継続的な適応を可能にする。
• メトロポリス・ハスティングスの受容メカニズムにより詳細バランスを維持することで、エルゴディック性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 拒否されたステートを無視する従来の手法と比較して、勾配ベースの適応的MCMC手法は、より速くロバストな適応を達成できるか？
• RQ2 一般化された速度測度目的関数は、標準的な適応的MCMCおよびHMC手法と比較して、どのようにサンプリング効率を向上させるか？
• RQ3 マルチスケールのターゲット分布において、完全な共分散行列の学習を伴う勾配ベースの適応は、等方的または対角行列の提案と比較してどの程度優れた性能を示すか？
• RQ4 初期提案がターゲット分布から大きく離れている場合でも、本手法は安定性と収束性を維持できるか？
• RQ5 ベイジアンロジスティック回帰（87パラメータ）のような高次元問題に、本フレームワークは効果的にスケーリングできるか？

主な発見

• 100次元の多変量正規分布ターゲットにおいて、gadMALAfは全基準で最高の効率スコア（最小ESS/s）を達成し、20ステップのループフロップを用いたHMCを含むすべてのベースラインを上回った。
• 87次元のCaravanデータセット（ベイジアンロジスティック回帰）において、gadMALAfはNUTSですら上回る1秒あたりの有効サンプルサイズ（ESS）を達成したが、NUTSは高いESSを達成するが計算コストが高いため、その恩恵は限定的であった。
• トレースプロットでは、gadMALA手法が標準的適応メトロポリス（AM）と比較して著しく自己相関が低減しており、より速い混合と優れた探索性能が示された。
• gadMALAfで学習されたコレスキー因子Lの対角成分は、次元全体にわたり、最適なスケーリング（0.01〜1.00）と非常に近い値を示し、ターゲットのマルチスケール構造への正確な適応を裏付けた。
• チェーンが停止している場合でも、拒否されたステートからの勾配を活用することで、初期段階での適応が著しく速くなった。
• MNIST（785次元）における補足結果から、本フレームワークの高次元設定におけるスケーラビリティとロバスト性が確認された。