[論文レビュー] Light and Widely Applicable MCMC: Approximate Bayesian Inference for Large Datasets

Florian Maire, Nial Friel+1 more|arXiv (Cornell University)|Mar 13, 2015

Markov Chains and Monte Carlo Methods参考文献 39被引用数 3

ひとこと要約

本稿では、固定された、データ駆動の観察サブセットを用いてノイズありメトロポリス＝ハスティングスカーネルをシミュレートする、新しい近似ベイズ推論手法であるLight and Widely Applicable MCMC（LWA-MCMC）を紹介する。要約統計量を用いてサブサンプリングをガイドすることで、LWA-MCMCは強力な理論的保証を維持しながら、大規模データセット、特にi.i.d.指数型分布族モデルにおいて、既存手法を上回る計算上の節約を達成する。

ABSTRACT

Light and Widely Applicable (LWA-) MCMC is a novel approximation of the Metropolis-Hastings kernel targeting a posterior distribution defined on a large number of observations. Inspired by Approximate Bayesian Computation, we design a Markov chain whose transition makes use of an unknown but fixed, fraction of the available data, where the random choice of sub-sample is guided by the fidelity of this sub-sample to the observed data, as measured by summary (or sufficient) statistics. LWA-MCMC is a generic and flexible approach, as illustrated by the diverse set of examples which we explore. In each case LWA-MCMC yields excellent performance and in some cases a dramatic improvement compared to existing methodologies.

研究の動機と目的

• 全尤度評価が著しく高価である大規模データセットにおいて、標準的なMCMC手法の計算上の非現実性に対処すること。
• メトロポリス＝ハスティングスアルゴリズムのシンプルさを保ちつつ、大規模データへのスケーラビリティを可能にする汎用的で柔軟かつ広く適用可能なMCMCフレームワークを開発すること。
• 各イテレーションで固定された割合のデータのみを用いることで計算コストを低減すること。この際、要約統計量による観察データへの忠実度に基づいてサブサンプリングをガイドする。
• サブサンプリングによって誘導される近似事後分布と真の事後分布の間のKullback-Leibler（KL）ダイバージェンスをバインドすることで理論的妥当性を保証すること。
• 受け入れ意思決定における信頼性を確保するために、しばしば大規模なサブサンプルを必要とする既存のノイズありMCMC手法と比較して、優れた性能を発揮すること。

提案手法

• LWA-MCMCは、データの固定サイズでランダムに選択されたサブセット $ U $ を用いて全データ尤度比を近似することで、ノイズありメトロポリス＝ハスティングスカーネルを構築する。ここで $ |U| = n $ である。
• サブセット $ U $ は、その要約統計量 $ \sum_{k \in U} S(Y_k) $ が全データの十分統計量 $ \sum_{k=1}^N S(Y_k) $ に近いかどうか、すなわち全データへの忠実度に基づいて選択される。
• 受容確率はサブサンプル尤度比を用いて計算され、真の事後分布 $ \pi $ を近似するノイズあり遷移カーネルを形成する。
• この方法により、KLダイバージェンス $ \text{KL}(\pi \| \tilde{\pi}_U) $ を最小化することで、マルコフ連鎖の定常分布が真の事後分布に近くなるように保証される。このKLダイバージェンスは、集中不等式およびモーメント不等式を用いてバインドされる。
• 理論的分析により、$ \| \xi_U \| = \left\| \frac{1}{n} \sum_{k \in U} S(Y_k) - \frac{1}{N} \sum_{k=1}^N S(Y_k) \right\| $ を最小化することが、近似誤差の tighter バインドをもたらすことが示された。
• このフレームワークは指数型分布族モデルに適用可能であり、十分統計量を通じて非i.i.d.設定へ自然に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 固定された、データ駆動の観察サブセットを用いて、大規模ベイズモデルの有効でスケーラブルなMCMCサンプラを構築できるか？
• RQ2 サブサンプリングをどのようにガイドすれば、真の事後分布とサブサンプル事後分布の間の近似誤差を最小化できるか？
• RQ3 LWA-MCMCは、精度を犠牲にすることなく、既存のノイズありMCMC手法よりも優れた計算効率を達成できるか？
• RQ4 サブサンプリング下での、得られるマルコフ連鎖の定常分布に対してどのような理論的保証を提供できるか？
• RQ5 この手法はi.i.d.データや指数型分布族モデルを超えて一般化可能か？

主な発見

• LWA-MCMCは、各イテレーションで全観察数 $ N $ を処理する必要がなくなるため、固定された小さなデータ割合のみを用いることで、計算コストを顕著に削減する。
• Korattikaraら（2014年）およびBardenetら（2014年）の手法など、既存のノイズありMCMCアプローチと比較して顕著に優れた性能を発揮する。これらの手法はしばしば受容意思決定の信頼性を確保するため、大規模なサブサンプルを必要としている。
• 理論的分析により、真の事後分布 $ \pi $ と近似事後分布 $ \tilde{\pi}_U $ の間のKLダイバージェンスがバインドされ、サブサンプルの要約統計量が全データのものに近い場合にそのバインドが最小化されることが示された。
• KLダイバージェンスのバインドは、$ \| \xi_U \| $ の乖離に依存しており、サブサンプル選択によってこの乖離を最小化することで、よりタイトな近似とより良い混合が達成される。
• 実験的結果により、パラメータ推定および分類タスクにおいて優れた性能が確認され、本手法の実世界の大規模データセットへの実用的有用性が裏付けられた。
• 本アプローチはi.i.d.設定を越えて適用可能であり、適切な十分統計量を備えた非指数型分布族モデルへも拡張可能である。