[論文レビュー] Accelerating MCMC via Parallel Predictive Prefetching

Elaine Angelino, Eddie Kohler+3 more|arXiv (Cornell University)|Mar 28, 2014

Markov Chains and Monte Carlo Methods参考文献 30被引用数 18

ひとこと要約

この論文は、目的密度の高速近似を用いて将来のチェインステップを予測的に評価することで、マルコフ連鎖モンテカルロ（MCMC）手法の高速化を図る並列予測的プリフェッチを導入する。尤度差の誤差を絶対値ではなくモデル化することで、バーンイン段階ではほぼ線形のスピードアップを達成し、直列実行と比較して非線形ではあるが著しく改善されたスピードアップを実現する。正確な事後分布推定がバイアスなしで維持される。

ABSTRACT

We present a general framework for accelerating a large class of widely used Markov chain Monte Carlo (MCMC) algorithms. Our approach exploits fast, iterative approximations to the target density to speculatively evaluate many potential future steps of the chain in parallel. The approach can accelerate computation of the target distribution of a Bayesian inference problem, without compromising exactness, by exploiting subsets of data. It takes advantage of whatever parallel resources are available, but produces results exactly equivalent to standard serial execution. In the initial burn-in phase of chain evaluation, it achieves speedup over serial evaluation that is close to linear in the number of available cores.

研究の動機と目的

• メトロポリス＝ハスティングスのような本質的に逐次的なMCMCアルゴリズムを、正確性を損なわずに高速化すること。
• 大規模データセットを用いたベイズ推論において、並列コンピューティングリソースを効果的に活用すること。
• 目的密度の高速近似を用いて、予測的実行を誘導するスケジューリング戦略の開発。
• 相関のある尤度差に対して、予測の信頼性を向上させる方法で予測不確実性をモデル化すること。
• 局所的受容率とデータサブサンプリングに適応することで、実際の応用で対数より優れたスピードアップを達成すること。

提案手法

• 本手法は、目的密度の高速近似を根拠に、複数の将来のMCMCステップを並列に予測的に評価する予測的実行を用いる。
• 個々の尤度ではなく、提案ステップと現在ステップの尤度差の誤差をモデル化することで、分散を低減し、予測の信頼性を向上させる。
• リアルタイムの受容率と乱数発生子に基づいて、動的スケジューリング機構が予測の範囲を適応的に制御し、リソース利用効率を向上させる。
• 部分サンプルデータから完全な尤度へと段階的に精度を高める近似を繰り返し改良する予測子の反復的精錬をサポートする。
• 直列実行と並列実行の両方で同一の疑似乱数列を保証することで、正しさを確保し、バイアスを回避する。
• 遷移演算子が分解可能である他のMCMCアルゴリズム（例：スライスサンプリング、適応的MCMC）に対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 予測的モデリングを用いた予測的実行は、バイアスを導入せずにMCMCにおける顕著なスピードアップを達成できるか？
• RQ2 尤度評価における近似誤差をどのようにモデル化すれば、予測的決定の信頼性が向上するか？
• RQ3 高速近似と適応的スケジューリングをMCMCで使用した場合、実際のスピードアップはどの程度達成可能か？
• RQ4 バーンイン段階と収束段階といったMCMCの異なる段階において、性能はどのように変化するか？
• RQ5 並列リソースを効果的に活用しながら、正確な事後分布推定を維持できるか？

主な発見

• バーンイン段階では、利用可能な並列コアを効果的に活用し、ほぼ線形のスピードアップを達成する。
• バーンイン後でも、局所的受容率と予測信頼度に基づく適応的予測により、対数より著しく優れたスピードアップが維持される。
• 個々の値ではなく尤度差をモデル化することで、誤差分散が低減され、より積極的かつ信頼性の高い予測が可能になる。
• ベイジアンラッソ問題では、複数の初期条件においてもスピードアップが継続したが、後期の小さなステップにより一部のケースで対数スケーリングが見られた。
• 多くの場合、予測子は不確実性を示し（中間的値をとる）、誤った決定を避けることで、非対数的スピードアップを回避する。
• 直列実行と並列実行の両方で同一の乱数列を保証することで、フレームワークは正確な事後分布推定を維持する。