[論文レビュー] Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching

Marco Banterle, Clara Grazian+1 more|arXiv (Cornell University)|Jun 10, 2014

Markov Chains and Monte Carlo Methods参考文献 21被引用数 12

ひとこと要約

本稿では、受理確率を逐次的成分に分解することで、計算時間を削減するための遅延受容メトロポリス・ハスティングス法を提案する。この手法を事前プリフェッチングと組み合わせることで、尤度関数が因数分解可能な場合に特に有効に、計算時間を最大で3倍短縮可能であり、混合度合いと有効サンプルサイズは妥当な水準を維持する。

ABSTRACT

MCMC algorithms such as Metropolis-Hastings algorithms are slowed down by the computation of complex target distributions as exemplified by huge datasets. We offer in this paper an approach to reduce the computational costs of such algorithms by a simple and universal divide-and-conquer strategy. The idea behind the generic acceleration is to divide the acceptance step into several parts, aiming at a major reduction in computing time that outranks the corresponding reduction in acceptance probability. The division decomposes the "prior x likelihood" term into a product such that some of its components are much cheaper to compute than others. Each of the components can be sequentially compared with a uniform variate, the first rejection signalling that the proposed value is considered no further, This approach can in turn be accelerated as part of a prefetching algorithm taking advantage of the parallel abilities of the computer at hand. We illustrate those accelerating features on a series of toy and realistic examples.

研究の動機と目的

• 特に大規模データセットを扱う際の複雑な後方分布の評価に伴うメトロポリス・ハスティングス法の高い計算コストに対処すること。
• 全受理確率の計算に要する時間を、段階的かつ徐々に高価になる成分に分解することで短縮すること。
• 最小限のコード変更で実装可能であり、任意のメトロポリス・ハスティングス法に適用可能な汎用的でモジュラーなアプローチを導入すること。
• 現代の並列コンピューティングを活用し、遅延受容とプリフェッチングを統合することで、さらなる計算高速化を実現すること。
• ロジスティック回帰やジェフレーズ事前分布を用いた有限混合モデルを含む実際のベイズモデルを用いて評価し、実用的利点を示すこと。

提案手法

• メトロポリス・ハスティングスの受理確率を、d個の正の関数の積に分解する：π(θ)q(θ,η)/π(η)q(η,θ) = ∏_{k=1}^d ρ_k(η,θ)。
• 逐次的な受理チェックを実施：各kについて、ρ_k(η,θ)を独立なU(0,1)乱数と比較し、最初の失敗で停止して拒否する。
• これにより、正しい定常分布を保持しつつ、成分の一つがテストに失敗した場合の早期終了が可能になる。
• 並列プロセッサ上で高価な成分を事前に計算するプリフェッチングを用い、計算と意思決定ステップを重ね合わせる。
• トイモデルおよび実世界の例（ロジスティック回帰や非共役事前分布を有する有限混合モデルを含む）にこの手法を適用する。
• 詳細なバランス条件を用いて理論的妥当性を保証し、修正されたアルゴリズムがターゲット分布π(θ)を正確に保持することを示す。

実験結果

リサーチクエスチョン

• RQ1 受理確率を逐次的成分に分割することで、ターゲット分布の歪みを生じさせることなく、メトロポリス・ハスティングス法における計算時間を短縮できるか？
• RQ2 標準MCMCと比較して、遅延受容戦略の有効サンプルサイズおよび受理率はどのように変化するか？
• RQ3 現代の並列アーキテクチャ上での遅延受容アルゴリズムに、プリフェッチングを組み合わせることでどの程度さらなる高速化が達成できるか？
• RQ4 高次元または大規模データ環境下では、受理確率の低下と計算時間の短縮の間でどのようなトレードオフが生じるか？
• RQ5 有限混合モデルにジェフレーズ事前分布を適用した場合、ラベルスイッチング問題を伴う複雑なモデルに対しても、この手法はどの程度有効か？

主な発見

• 混合モデルにおけるn=1000の場合、標準MCMCと比較して遅延受容法では計算時間を最大1.6倍短縮できたが、受理率は10%低下した。
• プリフェッチングと組み合わせた場合、標準MCMCと比較して計算時間を3倍短縮でき、1秒あたりの有効サンプルサイズは標準プリフェッチングの2.9から7.52に向上した。
• 遅延受容法では有効サンプルサイズ（ESS）が標準MCMCと比べて約1.5倍低くなるが、速度の向上がこれをはるかに上回る。
• 混合モデル推定において、遅延受容とプリフェッチングを組み合わせた手法では、10^5回のシミュレーションあたりの平均実行時間が192.65秒にまで短縮されたのに対し、標準MH法では517.60秒であった。
• 3成分のガウス混合モデルにおいて、周辺後方分布が真のパrameter値とよく一致しており、良好な後方分布カバレッジを示した。
• 混合モデルではラベルスイッチングが発生するが、この遅延受容とプリフェッチングを組み合わせた手法は、この既知の識別不能性の問題に対しても信頼性の高い推論を提供した。