[論文レビュー] Hamiltonian Monte Carlo Without Detailed Balance

Jascha Sohl‐Dickstein, Mayur Mudigonda+1 more|arXiv (Cornell University)|Sep 18, 2014

Markov Chains and Monte Carlo Methods参考文献 28被引用数 37

ひとこと要約

本稿では、離散的で段差のような状態空間表現と、詳細なバランスを満たさないが固定点方程式を満たすマルコフ遷移を用いることで、サンプルの破棄を排除する新しいMCMC手法、Ladder Hamiltonian Monte Carlo (LAHMC)を提案する。運動量の反転を回避し、非可逆的で長時間の軌道を可能にすることで、ランダムウォーク的挙動を軽減し、テスト問題において混合時間の2倍以上を改善する。

ABSTRACT

We present a method for performing Hamiltonian Monte Carlo that largely eliminates sample rejection for typical hyperparameters. In situations that would normally lead to rejection, instead a longer trajectory is computed until a new state is reached that can be accepted. This is achieved using Markov chain transitions that satisfy the fixed point equation, but do not satisfy detailed balance. The resulting algorithm significantly suppresses the random walk behavior and wasted function evaluations that are typically the consequence of update rejection. We demonstrate a greater than factor of two improvement in mixing time on three test problems. We release the source code as Python and MATLAB packages.

研究の動機と目的

• サンプルの破棄とそれに伴うランダムウォーク的挙動を引き起こす標準的HMCの非効率性に対処する。
• 前向きと逆向きの遷移確率が等しくなるという詳細なバランスの根本的制限を克服する。この制限により、最適でない探索が生じる。
• 正しさ（固定点分布）を維持しつつ、非可逆的かつ拒否なしの遷移により、より速い混合を実現するサンプリング手法を開発する。
• HMCにおける詳細なバランスの排除が、高次元および悪条件な分布において、混合時間と効率に顕著な改善をもたらすことを実証する。

提案手法

• 連続的なHMC状態空間を、各段が特定の運動量方向に対応する離散的・段差のような構造に表現する。
• 固定点方程式を満たすが詳細なバランスを満たさないラダー状態間のマルコフ遷移ルールを定義し、ターゲット分布への収束を保証する。
• ハミルトニアン力学を用いてエネルギーを保存する長時間の軌道を状態空間内に生成し、代わりに有効で拒否されない状態が得られるまで軌道を延長することで、破棄を回避する。
• ラダーに沿った走査方向を追跡する補助的方向変数（例：d ∈ {−1, 1}）を導入し、非可逆的遷移を可能にする。
• 破棄時に運動量を反転させるのをやめ、代わりに同じ方向に軌道を継続することで、破棄の必要性を排除し、ランダムウォーク的挙動を軽減する。
• 遷移行列がターゲット分布を固定点として保つように構築し、詳細なバランスに依存せずに正しさを維持する。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアンモンテカルロを破棄なしにできるか、かつ正しいターゲット分布に収束するか。
• RQ2 HMCにおける詳細なバランスの排除が、実際の応用において混合速度の向上とランダムウォーク的挙動の低減をもたらすか。
• RQ3 HMC状態空間の離散的・段差型表現が、効率的で非可逆的遷移を可能にし、サンプリング効率を向上させられるか。
• RQ4 提案手法の性能が、標準的HMCやNUTSと比較して、悪条件や粗い分布を含むさまざまなターゲット分布においてどうなるか。
• RQ5 詳細なバランスに依存する他のHMC変種、例えばリーマン多様体HMCやウィンドウ化された受容法などに対しても、本手法を一般化できるか。

主な発見

• LAHMCは、正則なが粗いエネルギー障壁を有する正弦波的摂動を伴うベンチマークテスト問題3つにおいて、混合時間に2倍以上の改善を達成した。
• 破棄時の運動量反転を排除し、同じ方向に軌道を継続することで、標準的HMCで見られる有効ステップサイズの低下を抑制した。
• 固有値が1と10⁵である2次元の悪条件なガウス分布において、グリッドサーチでテストしたすべてのハイパーパrameter設定で、LAHMCは標準的HMCを上回った。
• 標準的HMCでは見られる運動量の反転割合が、LAHMCではほとんど排除されており、可逆的から非可逆的ダイナミクスへのシフトが示された。
• 本手法はハイパーパrameterの選択に対して頑健であり、複雑で二次形式でないエネルギー障壁を有する状況でも高い効率を維持した。
• LAHMCのソースコードはPythonおよびMATLABで公開されており、再現性の確保と他のHMC変種への応用を可能にしている。