[論文レビュー] Gradient-free Hamiltonian Monte Carlo with Efficient Kernel Exponential Families

Heiko Strathmann, Dino Sejdinović+3 more|arXiv (Cornell University)|Jun 8, 2015

Markov Chains and Monte Carlo Methods参考文献 30被引用数 33

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）におけるカーネル指数型分布族を用いて、ターゲット密度の勾配構造を学習する勾配フリーな適応型MCMCアルゴリズム、カーネルハミルトニアンモンテカルロ（KMC）を提案する。スコアマッチングと2つの効率的近似（KMCライトとKMCファイニット）を活用することで、勾配を必要とせずにHMCに類似したサンプリング効率を達成し、ABC-MCMC や PM-MCMC を含むトイおよび実世界の応用において、最先端の勾配フリーなサンプラーを著しく上回る混合性能を実現する。

ABSTRACT

We propose Kernel Hamiltonian Monte Carlo (KMC), a gradient-free adaptive MCMC algorithm based on Hamiltonian Monte Carlo (HMC). On target densities where classical HMC is not an option due to intractable gradients, KMC adaptively learns the target's gradient structure by fitting an exponential family model in a Reproducing Kernel Hilbert Space. Computational costs are reduced by two novel efficient approximations to this gradient. While being asymptotically exact, KMC mimics HMC in terms of sampling efficiency, and offers substantial mixing improvements over state-of-the-art gradient free samplers. We support our claims with experimental studies on both toy and real-world applications, including Approximate Bayesian Computation and exact-approximate MCMC.

研究の動機と目的

• ターゲット密度の勾配が不確実な状況において、ハミルトニアンモンテカルロ（HMC）の限界を克服すること。
• 明示的な勾配評価を必要とせず、HMCの効率を模倣する勾配フリーな適応型MCMCアルゴリズムの開発。
• 近似ベイズ計算（ABC-MCMC）や偽物マージナルMCMC（PM-MCMC）のような困難な状況でも効率的なサンプリングを可能にすること。
• RKHSにおける無限次元指数型分布族モデルへの新しい近似を用いて、計算コストを低減すること。
• 既存の勾配フリーなサンプラーと比較して、幾何的エルゴドニシティおよび優れた混合性能を達成すること。

提案手法

• KMCは、再帰的核ヒルバート空間（RKHS）における非パラメトリック指数型分布族モデルを用いて、正規化されていない対数ターゲット密度の勾配を推定する。
• スコアマッチングを用いてモデルを適合させることで、明示的な勾配計算なしにターゲットの勾配構造を一貫して推定可能となる。
• 2つの近似手法を導入する：KMCライトは、RKHS内での次第に成長する低次元部分空間への射影を用い、幾何的エルゴドニシティを保証する。
• KMCファイニットは、ランダムフォーリエ特徴量を用いて問題を有限次元の特徴空間にマップし、全チェーン履歴からのオンライン学習を可能にする。
• アルゴリズムは、カーネルベースの勾配近似を通じて、ターゲットの局所的幾何構造を推定することで、適応的にプロポーザル分布を学習する。
• KMCは、1回のプロポーザルあたり1回の尤度シミュレーションで十分なメトロポリス・ハスティングス補正ステップを実行し、シミュレーションコストを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 勾配が不確実な状況において、勾配フリーなMCMCアルゴリズムがHMCに類似したサンプリング効率を達成できるか？
• RQ2 RKHSにおけるカーネルベースの非パラメトリック手法が、複雑で高次元のターゲット密度の勾配構造を正確に近似できるか？
• RQ3 勾配フリーなHMCにおいて、漸近的正確性と幾何的エルゴドニシティを維持しつつ、計算コストをどのように低減できるか？
• RQ4 ABC-MCMCおよびPM-MCMCの設定において、KMCは既存の最先端の勾配フリーなサンプラーと比較して、混合性能および有効サンプルサイズで優れているか？
• RQ5 高次元で非線形なターゲット分布において、KMCライト（幾何的エルゴドニシティ）とKMCファイニット（オンライン効率）の間のトレードオフは何か？

主な発見

• KMCは、勾配が不確実な状況でもHMCに類似したサンプリング効率を達成し、既存の勾配フリーなサンプラーを著しく上回る混合性能を実現する。
• KMCライトは、標準的なランダムウォークと同程度のターゲットクラスにおいて幾何的エルゴドニシティを保証し、強力な理論的保証を提供する。
• KMCファイニットは、全履歴チェーンデータを用いた効率的なオンライン学習を可能にするが、未探索領域では効率が低下する。
• ABC-MCMCおよびPM-MCMCの実験において、KMCはHABCや他の勾配フリー手法と比較して、優れた有効サンプルサイズとより速い収束を示した。
• 反例の研究では、歪んだ尤度に対してガウス近似を適用すると事後分布にバイアスが生じることを示し、より良い勾配推定の必要性を浮き彫りにした。これに対してKMCはカーネルベースのアプローチによりこれを是正する。
• KMCは1回のプロポーザルあたり1回の尤度シミュレーションで十分である一方、HABCは1回のプロポーザルあたり100回のシミュレーション（50ステップのループ）を要するため、KMCはシミュレーションコストにおいて著しく効率的である。