[論文レビュー] Speeding Up MCMC by Efficient Data Subsampling

Matias Quiroz, Robert Kohn+2 more|UTS ePRESS (University of Technology Sydney)|Apr 16, 2014

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、小さなランダムなデータサブセットから対数尤度を効率的に推定するために制御変数を用いることで、高速かつ正確なMCMCサンプリングを可能にするスケーラブルなベイズ推論フレームワークであるSubsampling MCMCを提案する。バイアス補正された尤度推定と相関のある疑似周辺化スキームを組み合わせることで、m = O(√n)のサンプル数でのみ、ほぼ正確な事後分布近似を達成し、計算コストを低減しながら高いサンプリング効率と無視できる誤差を維持する。

ABSTRACT

We propose Subsampling MCMC, a Markov Chain Monte Carlo (MCMC) framework where the likelihood function for $n$ observations is estimated from a random subset of $m$ observations. We introduce a highly efficient unbiased estimator of the log-likelihood based on control variates, such that the computing cost is much smaller than that of the full log-likelihood in standard MCMC. The likelihood estimate is bias-corrected and used in two dependent pseudo-marginal algorithms to sample from a perturbed posterior, for which we derive the asymptotic error with respect to $n$ and $m$, respectively. We propose a practical estimator of the error and show that the error is negligible even for a very small $m$ in our applications. We demonstrate that Subsampling MCMC is substantially more efficient than standard MCMC in terms of sampling efficiency for a given computational budget, and that it outperforms other subsampling methods for MCMC proposed in the literature.

研究の動機と目的

• 全データ尤度評価が高価である大規模ベイズ推論におけるMCMCの計算ボトル neck を解消すること。
• 繰り返し反復においてデータをサブサンプリングするが、事後分布の正確性を損なわないスケーラブルなMCMCフレームワークを開発すること。
• 制御変数を用いることで、疑似周辺化MCMCにおける尤度推定器の分散を低減し、混合速度の向上と高い受容率を実現すること。
• 小さなサブサンプルサイズであっても、サブサンプリングによって誘発される摂動事後分布が真の事後分布に近いまま保たれることを保証すること。
• 固定された計算予算下で、既存のサブサンプリングMCMC手法と比較して、計算効率および正確性の両面で優れた性能を示すこと。

提案手法

• 計算コストを低減するために、m ≪ n の観測値のランダムサブセットを用いて対数尤度を推定する。
• 分散低減のための2種類の制御変数を適用する：パrameter拡張型（最尤推定値の周囲）とデータ拡張型（データ重心の周囲）。
• 小さなサブセットに基づく残差項と制御変数を組み合わせることで、対数尤度の不偏推定量を構築する。
• 全データ対数尤度に対する推定対数尤度が近似的に不偏であることを保証するためのバイアス補正ステップを実施する。
• ブロック提案と共有ランダム数を用いた相関のある疑似周辺化スキームを実装し、メトロポリス・ハスティングスの受容率を向上させる。
• 2段階戦略を採用する：初期段階では探索を促進するための大きなmを用い、その後最尤推定値の良い推定が得られ次第mを小さくする。

実験結果

リサーチクエスチョン

• RQ1 わずかなデータの一部のみを用いても、計算効率を維持したままMCMCでほぼ正確な事後分布近似を達成できるか？
• RQ2 制御変数の使用が、サブサンプルMCMCにおける尤度推定器の分散をどのように低減するか、そして混合速度と受容率に与える影響は何か？
• RQ3 サブサンプリングによって誘発される摂動事後分布の理論的誤差境界は何か？nとmの両方にどのように依存するか？
• RQ4 事後分布の濃度が高い領域では、事後分布の誤差と尤度推定器の誤差の比はどのように比較されるか？
• RQ5 固定された計算予算下で、提案手法は既存のサブサンプリングMCMCアプローチを計算効率および正確性の両面で上回ることができるか？

主な発見

• 全データMLEを制御変数に用いる場合、摂動事後分布と真の事後分布との全変動距離はm = O(√n)でO(n⁻²)である。データサブセットサイズO(√n)を用いる場合、O(n⁻¹/²)である。
• 摂動事後分布における絶対的割合誤差は極めて小さい：例えば、Bankruptcyデータセットでは1.418 × 10⁻⁶（平均）、HIGGSでは8.594 × 10⁻⁸、Covtypeでは5.136 × 10⁻⁸である。
• 標準MCMCと比較して顕著な高速化が達成され、大規模データセットでは相対的計算時間（RCT）が数個のオーダーも低下する。
• 事後分布の濃度が高い領域での誤差は顕著に小さく、推論が最も重要となる領域で本手法が最も優れた性能を発揮することが示された。
• トレーニングフェーズ後にパrameter拡張型制御変数に切り替えることで、mを初期の大規模値からm = 1,000にまで低減でき、正確性に損なわれることなく効率が向上する。
• 複数の実世界データセットを用いた検証により、本手法は計算効率および事後分布の正確性の両面で、他のサブサンプリングMCMC手法を上回っている。