[論文レビュー] Subsampling MCMC - A review for the survey statistician

Matias Quiroz, Mattias Villani+3 more|arXiv (Cornell University)|Jul 23, 2018

Statistical Methods and Bayesian Inference被引用数 2

ひとこと要約

この論文は、大規模データセットにおける計算負荷を軽減するためにデータサブサンプリングを用いることで、ベイズ推論を高速化するpseudo-marginal MCMCアプローチ、Subsampling MCMCを紹介する。この手法は、統計的正確性を保ちながらスケーラビリティを著しく向上させるために、調査サンプリング技術を活用し、調査統計学者がMCMC手法に実用的に参入できる道筋を提供する。

ABSTRACT

The rapid development of computing power and efficient Markov Chain Monte Carlo (MCMC) simulation algorithms have revolutionized Bayesian statistics, making it a highly practical inference method in applied work. However, MCMC algorithms tend to be computationally demanding, and are particularly slow for large datasets. Data subsampling has recently been suggested as a way to make MCMC methods scalable on massively large data, utilizing efficient sampling schemes and estimators from the survey sampling literature. These developments tend to be unknown by many survey statisticians who traditionally work with non-Bayesian methods, and rarely use MCMC. Our article explains the idea of data subsampling in MCMC by reviewing one strand of work, Subsampling MCMC, a so called pseudo-marginal MCMC approach to speeding up MCMC through data subsampling. The review is written for a survey statistician without previous knowledge of MCMC methods since our aim is to motivate survey sampling experts to contribute to the growing Subsampling MCMC literature.

研究の動機と目的

• 大規模データセットにおけるMCMCにサブサンプリング技術を導入することで、調査サンプリングとベイズMCMCの間のギャップを埋めること。
• 通常MCMCに馴染みのない調査統計学者が、新たに登場しつつあるSubsampling MCMCの文献に貢献するよう促されること。
• MCMC経験のない読者向けに、自己完結的なSubsampling MCMCのレビューを提供すること。
• 調査サンプリング推定量とMCMCアルゴリズムの相乗効果を強調し、スケーラブルなベイズ推論を実現すること。

提案手法

• この手法は、データサブサンプリングによる尤度の不偏推定量を用いるpseudo-marginal MCMCフレームワークを採用する。
• 全データの尤度を近似するために、調査サンプリング設計に基づいて全データセットからサブサンプルを抽出する。
• 尤度の近似値をメトロポリス・ハスティングスの受理確率に使用し、極限において正しい事後分布が標的となるように保証する。
• サブサンプリングスキームは、調査サンプリング理論における効率性と分散低減の原則に基づいて選択される。
• MCMC推論の有効性を維持しつつ、1イテレーションあたりの計算コストを削減する。
• 尤度推定における制御された分散と計算速度のトレードオフを許容することで、スケーラブルなベイズ推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータサブサンプリングをMCMCアルゴリズムに統合することで、事後分布の正確性を保ちながら計算効率を向上させられるか？
• RQ2 調査サンプリング技術は、大規模データセットにおけるMCMCの高速化にどのような役割を果たせるか？
• RQ3 現在のMCMC手法が大規模データセットに対して計算的に非現実的である理由は何か？また、サブサンプリングはどのようにしてこの問題を緩和できるか？
• RQ4 伝統的にベイズ的手法を用いない調査統計学者は、どのようにしてMCMCの進展に貢献できるよう動機づけられるか？
• RQ5 効率的かつ有効なサブサンプリングスキームを構築するための主要な設計原則は何か？

主な発見

• Subsampling MCMCは、MCMCアルゴリズムにおける尤度評価の計算コストを削減することで、スケーラブルなベイズ推論を可能にする。
• わずかな正則性条件の下で、サブサンプル尤度を使用しても、標的となる事後分布の正しさが保たれる。
• 調査サンプリング設計から導かれる不偏尤度推定量により、極限においてMCMCチェインの有効性が保証される。
• 統計的正確性を損なわず、MCMCイテレーションあたりの実行時間を著しく短縮できる。
• 調査サンプリングの専門知識を活かして、効率的で低分散のサブサンプリングスキームを直接設計できる。
• このフレームワークは、調査統計学者とベイズ計算研究者との間で新たな協働の道を開く。