[論文レビュー] Divide and conquer in ABC: Expectation-Progagation algorithms for likelihood-free inference

Simon Barthelmé, Nicolás Chopin+1 more|arXiv (Cornell University)|Dec 1, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用数 6

ひとこと要約

本稿では、尤度フリーなベイズ推論における近似ベイズ計算（ABC）を高速化するために、期待値伝搬（EP）を用いた分割統治的手法を提案する。尤度を局所的要因に分解し、局所的要約統計量を適用することで、バイアスを低減するとともに、並列処理を大幅に可能にし、空間極値モデルにおいて100倍以上の高速化を達成しながら、正確な後方分布近似を維持している。

ABSTRACT

ABC algorithms are notoriously expensive in computing time, as they require simulating many complete artificial datasets from the model. We advocate in this paper a "divide and conquer" approach to ABC, where we split the likelihood into n factors, and combine in some way n "local" ABC approximations of each factor. This has two advantages: (a) such an approach is typically much faster than standard ABC and (b) it makes it possible to use local summary statistics (i.e. summary statistics that depend only on the data-points that correspond to a single factor), rather than global summary statistics (that depend on the complete dataset). This greatly alleviates the bias introduced by summary statistics, and even removes it entirely in situations where local summary statistics are simply the identity function. We focus on EP (Expectation-Propagation), a convenient and powerful way to combine n local approximations into a global approximation. Compared to the EP- ABC approach of Barthelm\\'e and Chopin (2014), we present two variations, one based on the parallel EP algorithm of Cseke and Heskes (2011), which has the advantage of being implementable on a parallel architecture, and one version which bridges the gap between standard EP and parallel EP. We illustrate our approach with an expensive application of ABC, namely inference on spatial extremes.

研究の動機と目的

• 尤度を局所的要因に分解し、局所的要約統計量を適用することで、ABCにおける計算コストを低減すること。
• 標準ABCで生じるグローバル要約統計量に起因するバイアスを、データポイント固有の局所的要約統計量を用いることで軽減すること。
• 期待値伝搬（EP）のブロック並列版を用いて、ABCにおける効率的な並列計算を可能にすること。
• 計算的に非現実的であるため標準ABCが失敗するような、高次元または非同定可能なモデル（例：空間極値）において、後方分布近似の精度を向上させること。
• 逐次的および並列的推論を両立できる、スケーラブルで実装可能なEP-ABCフレームワークの構築

提案手法

• 尤度を $ p(\mathbf{y}|\bm{\theta}) = \prod_{i=1}^n f_i(y_i|\bm{\theta}) $ と因子分解し、各要因から独立にサンプリング可能にする。
• 各データチャンク $ y_i $ に対して局所的要約統計量 $ s_i(y_i) $ を適用し、グローバル要約統計量と比較してバイアスを低減する。
• 期待値伝搬（EP）を用いて $ n $ 個の局所的ABC近似を統合し、単一のグローバル後方分布近似を生成する。
• Cseke & Heskes (2011) が提唱したEPのブロック並列版を実装し、サイト更新の並列処理を大規模に可能にする。
• 局所的許容誤差 $ \epsilon $ を用いたABCリジェクションにより尤度を近似することで、EPアルゴリズムを尤度フリーな設定に適応する。
• 後方分布のガウス近似をEPのキャビティ分布として用い、モーメントマッチングにより反復的に改善する。

実験結果

リサーチクエスチョン

• RQ1 ABCにおける分割統治戦略は、計算コストを低減しつつ、後方分布の精度を維持または向上させることができるか？
• RQ2 各データチャンクごとに局所的要約統計量を用いることで、グローバル要約統計量に起因するバイアスを顕著に低減できるか？
• RQ3 並列EPアルゴリズムはABCに効果的に適応可能で、スケーラブルかつ分散型推論を可能にするか？
• RQ4 標準ABCが失敗するような高次元・非同定可能なモデル（例：空間極値）において、EP-ABCはどのように性能を発揮するか？
• RQ5 ブロック並列EPバージョンは、収束性や精度を損なわずに、どの程度の高速化を達成できるか？

主な発見

• 提案されたEP-ABC手法は、標準ABCが1週間の計算でも有意義な結果を出せなかった空間極値応用において、100倍を超える高速化を達成した。
• 局所的要約統計量（例：恒等関数 $ s_i(y_i) = y_i $）を用いることで、データチャンクが十分統計量である場合には要約統計量に起因するバイアスが完全に解消された。
• ブロック並列EPバージョンは、逐次版と同等の収束速度を示し、10コアマシンで実装した場合に理論的に10倍の高速化が可能である。
• EP-ABCは、強いパラメータ相関があるにもかかわらず、正確な後方分布の平均と信用区間を再現したため、ほぼ非同定可能な空間極値モデルにおいても後方分布を適切に近似できた。
• ガウス近似された後方分布は、真の後方分布の形状と非常に良く一致しており、特に $ \log\nu, \log c $ パarametrizationでは、概ねガウス的等高線が得られた。
• 合成尤度を用いたモデル誤り指定に対してもロバストであることが示され、マージナル合成尤度を擬似尤度として用いても一貫した後方推論が得られた。