[論文レビュー] Adaptive Hamiltonian and Riemann Manifold Monte Carlo Samplers

Ziyu Wang, Shakir Mohamed+1 more|arXiv (Cornell University)|Feb 25, 2013

Markov Chains and Monte Carlo Methods参考文献 31被引用数 27

ひとこと要約

本稿では、無限の適応を可能にするベイズ最適化を用いた、適応型ハミルトニアンモンテカルロ（AHMC）およびリーマン多様体HMC（ARMHMC）サンプラーを提案する。これにより、エルゴード性が保証され、サンプリング効率が向上する。本手法はステップサイズとループフロッグステップのチューニングを自動化し、ベイジアンニューラルネットワークのような高次元モデルにおいて、非適応的および熟練者によるチューニング手法を著しく上回る性能を発揮する。

ABSTRACT

In this paper we address the widely-experienced difficulty in tuning Hamiltonian-based Monte Carlo samplers. We develop an algorithm that allows for the adaptation of Hamiltonian and Riemann manifold Hamiltonian Monte Carlo samplers using Bayesian optimization that allows for infinite adaptation of the parameters of these samplers. We show that the resulting sampling algorithms are ergodic, and that the use of our adaptive algorithms makes it easy to obtain more efficient samplers, in some cases precluding the need for more complex solutions. Hamiltonian-based Monte Carlo samplers are widely known to be an excellent choice of MCMC method, and we aim with this paper to remove a key obstacle towards the more widespread use of these samplers in practice.

研究の動機と目的

• ハミルトニアンモンテカルロ（HMC）サンプラーは高い効率性を示すが、ハイパーパrameter選択に極めて敏感であるため、その手動チューニングの困難さを解決すること。
• HMCおよびリーマン多様体HMC（RMHMC）のパラメータに対する無限の適応手法を開発し、有限の適応スキームで一般的に見られる部分最適解への陥落を回避すること。
• 提案手法の適応型サンプラーが無限の適応下でエルゴード的であることを証明し、ターゲット分布への収束を保証すること。
• 予測目的（例：交差検証誤差）に基づく適応が、熟練者によるチューニングや非適応的手法を上回る性能を示すことを実証すること。
• 熟練者によるチューニングに依存せず、HMCの統計的・機械学習分野への広範な適用を促進する実用的で自動化されたソリューションを提供すること。

提案手法

• 本手法は、探索と活用のバランスを取る獲得関数を用いて、ステップサイズ ε およびループフロッグステップ数 L といったHMCおよびRMHMCのハイパーパrameterを繰り返しチューニングするベイズ最適化を採用する。
• 主なイノベーションは、無限の適応の採用であり、マルコフ連鎖がサンプリング中も継続的にパラメータを適応させることで、有限の適応における収束問題を回避する点である。
• アルゴリズムは、{1, ..., L} 上の離散一様分布からランダムにループフロッグステップ数を選択することで、HMCカーネルの混合を実現し、詳細釣合せを保持するとともに、効率的な探索を可能にする。
• 適応の目的関数は主に期待二乗ジャンピング距離（ESJD）であり、十分なデータがある状況では予測指標（例：交差検証誤差）を代替的に用いる。
• RMHMCの場合、リーマン幾何学を用いて質量行列を適応させ、ターゲット分布の局所的曲率に応じて動的に調整することで混合性能を向上させる。
• 本フレームワークは標準HMCおよびRMHMCをサポートし、無限の適応下でエルゴード性が保証される理論的根拠を有し、サンプリングプロセスの漸近的正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化による無限の適応は、HMCおよびRMHMCサンプラーのエルゴード性と混合効率を向上させるか？
• RQ2 交差検証誤差などの予測的目的に基づくステップサイズおよびループフロッグステップの適応的チューニングは、熟練者によるチューニングや非適応的手法を上回る後方探索性能を達成するか？
• RQ3 提案された適応型フレームワークは、ベイジアンニューラルネットワークのような複雑なモデルにおける手動ハイパーパrameterチューニングの必要性を排除できるか？
• RQ4 高次元で相関の強い後方分布において、適応型HMCはNUTSなどの既存手法と比較してどのように性能を発揮するか？
• RQ5 交差検証誤差などの予測ベースの適応は、従来のESJDベースの適応を上回る条件は何か？

主な発見

• 期待二乗ジャンピング距離（ESJD）で測定したところ、非適応的および熟練者によるチューニング済HMCに比べ、適応型HMC（AHMC）および適応型リーマン多様体HMC（ARMHMC）サンプラーは著しく高い混合効率を達成した。
• デクスター・データセットにおけるベイジアンニューラルネットワークの実験では、AHMCはテストセット分類誤差を中央値0.0458、多数決投票では0.0355まで低下させ、ディリクレ拡散ツリーを用いた優勝エントリ（0.0390）を上回った。
• デクスター・データセットでは、AHMCの平均予測誤差は0.0498であったのに対し、熟練者によるチューニング済HMCは0.0510であった。これは、自動適応が熟練者のチューニングを模倣または上回ることを示している。
• 交差検証誤差を適応の目的関数として用いることで、予測性能が向上した。これは、予測損失に基づく適応が実現可能かつ効果的であることを示している。
• 理論的解析により、無限の適応下で適応型サンプラーがエルゴード的であることが確認され、適応MCMC分野における主要な懸念事項が解決された。
• 本手法により、6097次元のBNNのような高次元モデルでも、手動チューニングを必要とせず効率的なサンプリングが可能となり、実務におけるHMCの導入障壁が著しく低下した。