[論文レビュー] Hamiltonian Monte Carlo with Energy Conserving Subsampling

Khue‐Dung Dang, Matias Quiroz+3 more|arXiv (Cornell University)|Aug 2, 2017

Markov Chains and Monte Carlo Methods参考文献 61被引用数 12

ひとこと要約

本稿では、ハミルトニアン力学とメトロポリス・ハスティングスの受容ステップの両方で同じデータ部分集合を使用することにより、高いサンプリング効率とエネルギー保存を維持する、エネルギー保存型部分集合抽出法（HMC-ECS）を提案する。この手法は、大規模データセット上での正確なベイズ推論を著しく低い計算コストで達成し、SGLD や SG-HMC より優れた性能を発揮する一方で、分散低減のための制御変数の品質が中程度であっても安定性を保つ。

ABSTRACT

Hamiltonian Monte Carlo (HMC) samples efficiently from high-dimensional posterior distributions with proposed parameter draws obtained by iterating on a discretized version of the Hamiltonian dynamics. The iterations make HMC computationally costly, especially in problems with large datasets, since it is necessary to compute posterior densities and their derivatives with respect to the parameters. Naively computing the Hamiltonian dynamics on a subset of the data causes HMC to lose its key ability to generate distant parameter proposals with high acceptance probability. The key insight in our article is that efficient subsampling HMC for the parameters is possible if both the dynamics and the acceptance probability are computed from the same data subsample in each complete HMC iteration. We show that this is possible to do in a principled way in a HMC-within-Gibbs framework where the subsample is updated using a pseudo marginal MH step and the parameters are then updated using an HMC step, based on the current subsample. We show that our subsampling methods are fast and compare favorably to two popular sampling algorithms that utilize gradient estimates from data subsampling. We also explore the current limitations of subsampling HMC algorithms by varying the quality of the variance reducing control variates used in the estimators of the posterior density and its gradients.

研究の動機と目的

• 大規模データ環境下におけるハミルトニアン・モンテカルロ（HMC）の計算ボトル neck を解消するため、サンプリング効率を損なわずに効率的な部分集合抽出を可能にする。
• データ部分集合を用いる際にも、HMC の主な利点である遠くの提案に対する高い受容確率を維持する。
• 力学的ダイナミクスと受容意思決定の両方が同じ部分集合に基づく、整合的な部分集合抽出戦略を構築し、エネルギー保存を保証する。
• 事後密度および勾配推定における分散低減のための制御変数の品質の変動に対する、本手法のロバストネスを評価する。
• 高次元事後分布上でのサンプリング効率と正確性という観点から、HMC-ECS を SGLD や SG-HMC と実験的に比較する。

提案手法

• データ部分集合を疑似周辺尤度メトロポリス・ハスティングスステップでサンプリングし、その部分集合に基づいて HMC を用いてパラメータを更新する、Gibbs 法における HMC を組み込んだフレームワークを提案する。
• 2 種類の変種を導入する：摂動 HMC-ECS はわずかにバイアスのある事後分布を標的とし、全変数距離の合計変動距離で O(n⁻¹m⁻²) のレートで真の事後分布に収束する。一方、符号付き HMC-ECS は重要度サンプリングを用いて一貫性のある推定器を生成する。
• 事後分布のモードの周りのテイラー展開に基づく 2 階の制御変数を用い、尤度および勾配推定器の分散を低減する。
• ハミルトニアン力学のシミュレーションとメトロポリス・ハスティングスの受容確率計算の両方で同じ部分集合を使用することで、エネルギー保存と高い受容確率を保証する。
• 0 階および 1 階の制御変数を用いて、分散低減における近似品質の感度を評価する。
• シンプレクティック積分器を用いて数値的統合を行い、時間経過に伴うハミルトニアンエネルギーを近似的に保存する。

実験結果

リサーチクエスチョン

• RQ1 データ部分集合抽出を用いて、HMC を大規模データセットに効率的にスケーリングできるか。その際、高い受容確率と効率的な探索を維持できるか。
• RQ2 力学的ダイナミクスと MH 受容の両方で同じデータ部分集合を使用することで、エネルギー保存とサンプリング効率が維持されるか。
• RQ3 HMC-ECS は、事後密度およびその勾配推定に用いる制御変数の品質に対してどれほど感度を示すか。
• RQ4 高次元事後分布上でのサンプリング効率と正確性という観点から、HMC-ECS は SGLD や SG-HMC より優れているか。
• RQ5 HMC-ECS は、フルデータ HMC よりも著しく低い計算コストで正確な推論を達成できるか。

主な発見

• HMC-ECS は、29 及び 81 パラメータを持つデータセットで、フルデータ HMC と同等のサンプリング効率と正確性を達成しながら、著しく高速である。
• 摂動 HMC-ECS は、全変数距離の合計変動距離で O(n⁻¹m⁻²) のレートで真の事後分布に収束し、漸近的一貫性を保証する。
• 符号付き HMC-ECS は重要度サンプリングを用いて、事後期待値のシミュレーション一貫性のある推定器を生成し、有効な推論を可能にする。
• HMC-ECS は 1 階の制御変数では有効であるが、0 階近似では分散が大きすぎて失敗する。
• HMC-ECS は、特に高次元設定下で、SGLD や SG-HMC よりもサンプリング効率と正確性の両面で優れている。
• HMC-ECS は、制御変数の品質が中程度に低下してもロバストであるが、0 階のテイラー展開のような粗い近似を用いるとかなり性能が低下する。