[論文レビュー] Continuously tempered Hamiltonian Monte Carlo

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|Apr 11, 2017

Markov Chains and Monte Carlo Methods参考文献 34被引用数 3

ひとこと要約

本稿では、連続的な温度制御変数をハミルトニアンモンテカルロ（HMC）の状態空間に追加することで、混合の改善と正規化定数の推定を実現する、連続的温度調整HMC（CT-HMC）を提案する。状態変数と併せて勾配に基づく温度の更新を可能にすることで、既存のHMC実装への最小限のコード変更で、効率的な探索と正確な正規化定数推定を達成する。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a powerful Markov chain Monte Carlo (MCMC) method for performing approximate inference in complex probabilistic models of continuous variables. In common with many MCMC methods, however, the standard HMC approach performs poorly in distributions with multiple isolated modes. We present a method for augmenting the Hamiltonian system with an extra continuous temperature control variable which allows the dynamic to bridge between sampling a complex target distribution and a simpler unimodal base distribution. This augmentation both helps improve mixing in multimodal targets and allows the normalisation constant of the target distribution to be estimated. The method is simple to implement within existing HMC code, requiring only a standard leapfrog integrator. We demonstrate experimentally that the method is competitive with annealed importance sampling and simulating tempering methods at sampling from challenging multimodal distributions and estimating their normalising constants.

研究の動機と目的

• 孤立したモードを有するマルチモーダルなターゲット分布において、標準的HMCの混合が不十分である問題に対処すること。
• モデル比較のための重要な量である、複雑なターゲット分布の正規化定数の正確な推定を可能にすること。
• 離散的温度スケジュールを回避する、既存のHMCコードへの簡単で即座に利用可能な拡張を提供すること。
• 断続的アンサンブル重要度サンプリング（AIS）およびシミュレーテッド・テンペアーリングと比較して、サンプリング効率および正規化定数推定の両面で改善すること。
• 連続的温度制御を活用し、NUTSのような適応的HMC手法とのより良い統合を実現すること。

提案手法

• 標準的HMCの状態空間に連続的逆温度変数βを追加し、状態xとβの両方の連合ダイナミクスを可能にする。
• βを介してベース分布とターゲット分布の間を滑らかに補間する連合ポテンシャルエネルギー関数を定義する。
• 拡張された空間におけるハミルトニアンダイナミクスをシミュレートするために、標準的なルンゲ＝クッタ法（leapfrog）積分器を用い、勾配に基づく更新を可能にする。
• 詳細つり合いと正しい定常分布を保証するために、連合空間におけるメトロポリス・ハスティングスの受容・拒否ステップを採用する。
• 2つのバリエーションを用いて手法を適用する：連合CT-HMC（xとβの同時更新）およびギブスCT-HMC（断片的な指数分布によるβの別個更新）。
• βのための変分近似を提案として用いることで混合を改善しつつ、極限において漸近的に正確な性質を維持する。

実験結果

リサーチクエスチョン

• RQ1 標準的HMCと比較して、連続的温度変数はマルチモーダル分布における混合を改善できるか？
• RQ2 連合的連続的温度調整は、ターゲット分布の正規化定数の正確な推定を可能にするか？
• RQ3 CT-HMCは、断続的アンサンブル重要度サンプリング（AIS）およびシミュレーテッド・テンペアーリングと比較して、サンプリング効率および正規化定数推定の両面で優れているか？
• RQ4 CT-HMCは、既存のHMCベースの確率的プログラミングフレームワークにスムーズに統合可能か？
• RQ5 計算効率およびサンプリング品質の観点から、連続的温度制御は離散的温度スケジュールを上回っているか？

主な発見

• CT-HMCは、挑戦的なマルチモーダル分布からのサンプリングにおいて、断続的アンサンブル重要度サンプリング（AIS）およびシミュレーテッド・テンペアーリングと同等の性能を達成する。
• この手法により、標準的HMCではしばしば計算不能であるターゲット分布の正規化定数の正確な推定が可能になる。
• GPU実装において、離散的カテゴリカルサンプリングによるβの更新が不要なため、連合CT-HMCはシミュレーテッド・テンペアーリングを上回る性能を示す。
• ギブスCT-HMCは、温度制御の質量パラメータのチューニングが不要であり、実験では連合CT-HMCと同等またはより優れたサンプリング効率を達成する。
• 既存のHMCコードベースへの実装は非常に簡単で、標準的なルンゲ＝クッタ法積分器を用いるのみで、コアHMCの論理に変更を加える必要がない。
• NUTSのような適応的HMCのバリエーションを拡張された空間に直接適用可能であり、手動のチューニングなしにブラックボックス的温度調整推論を実現できる。