[論文レビュー] The No-U-turn sampler: adaptively setting path lengths in Hamiltonian Monte Carlo

Matthew D. Homan, Andrew Gelman|arXiv (Cornell University)|Jan 1, 2014

Markov Chains and Monte Carlo Methods参考文献 27被引用数 3,275

ひとこと要約

No-U-Turn Sampler (NUTS) は、手動でステップ数 L とステップ サイズ ε を設定する必要を排除することで、ハミルトニアン モンテカルロ (HMC) を自動化する。再帰的なツリー成長アルゴリズムを用い、軌道が元の経路を再走するようになると自動的にサンプリングを停止させる。これにより、調整なしに効率的かつ即時利用可能な推論が可能になる。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) algorithm that avoids the random walk behavior and sensitivity to correlated parameters that plague many MCMC methods by taking a series of steps informed by first-order gradient information. These features allow it to converge to high-dimensional target distributions much more quickly than simpler methods such as random walk Metropolis or Gibbs sampling. However, HMC's performance is highly sensitive to two user-specified parameters: a step size e and a desired number of steps L. In particular, if L is too small then the algorithm exhibits undesirable random walk behavior, while if L is too large the algorithm wastes computation. We introduce the No-U-Turn Sampler (NUTS), an extension to HMC that eliminates the need to set a number of steps L. NUTS uses a recursive algorithm to build a set of likely candidate points that spans a wide swath of the target distribution, stopping automatically when it starts to double back and retrace its steps. Empirically, NUTS performs at least as efficiently as (and sometimes more effciently than) a well tuned standard HMC method, without requiring user intervention or costly tuning runs. We also derive a method for adapting the step size parameter e on the fly based on primal-dual averaging. NUTS can thus be used with no hand-tuning at all, making it suitable for applications such as BUGS-style automatic inference engines that require efficient turnkey samplers.

研究の動機と目的

• HMC がユーザーが指定するパラメータ L（ステップ数）と ε（ステップ サイズ）に敏感である問題に対処すること。これらのパラメータはサンプリング効率に重大な影響を与える。
• HMC におけるステップ数 L の手動チューニングの必要性を排除すること。これにより、ランダムウォーク行動や無駄な計算を回避できる。
• プライマル・デュアル平均法を用いて、サンプリング中にステップ サイズ ε を自動的に適応させるメカニズムを開発すること。
• BUGS のような自動推論エンジンに適した、ユーザーの介入が一切不要な即時利用可能な MCMC サンプラーを作成すること。

提案手法

• NUTS は、HMC の軌道を前後方向に再帰的に拡張するツリー構築アルゴリズムを採用している。各ステップでパス長を倍増させる。
• アルゴリズムは、軌道が元の経路を再走し始めると、その兆候を検出することで停止する。具体的には、軌道の角運動量が方向転換するかどうかをチェックすることで実現する。
• 軌道の両端における位置と運動量の差に基づく基準を用いて、パスが再走し始めているかどうかを検出する。
• ステップ サイズ ε は、プライマル・デュアル平均法を用いてリアルタイムで適応させる。これにより、時間経過とともに安定的かつ収束するチューニングスケジュールを維持できる。
• ループフロッグ積分法を用いてハミルトニアン力学をシミュレートし、勾配情報を利用して提案分布をガイドする。
• 動的システムがターゲット分布の不変性を保つことにより、詳細釣合せと正しい定常分布を保証する。

実験結果

リサーチクエスチョン

• RQ1 手動でのステップ数 L のチューニングが不要な、完全に自動化された HMC サンプラーを設計できるか？
• RQ2 サンプリング中にステップ サイズ ε をどのように適応的に調整すれば、効率性と収束性を維持できるか？
• RQ3 探索の限界に達した時点で自動的に検出できる停止基準を開発できるか？
• RQ4 高次元のターゲット分布において、NUTS サンプラーはよくチューニングされた標準 HMC と同等またはそれ以上の効率性を達成できるか？
• RQ5 BUGS のような自動推論システムに、ユーザーの設定なしに即時で差し替え可能な NUTS を使用できるか？

主な発見

• NUTS は、適応的パス長選択のおかげで、よくチューニングされた標準 HMC と同等以上に、しばしばより高い効率性を発揮する。
• アルゴリズムは、軌道が元の経路を再走し始めると自動的に停止するため、手動での L 指定の必要がなくなる。
• ステップ サイズ適応のためのプライマル・デュアル平均法は、高価なキャリブレーション走行を必要とせず、安定的かつ収束するチューニングを保証する。
• 実証的結果から、NUTS はユーザーの介入なしに高次元ターゲット分布の効率的探索を達成している。
• 詳細釣合せと正しい定常分布が維持されるため、有効なベイズ推論が保証される。
• NUTS は自動推論エンジンへの統合に適しており、効率的な即時利用 MCMC サンプリングを可能にする。