[論文レビュー] Expectation propagation as a way of life: A framework for Bayesian inference on partitioned data

Aki Vehtari, Andrew Gelman+8 more|arXiv (Cornell University)|Dec 16, 2014

Gaussian Processes and Bayesian Inference参考文献 63被引用数 63

ひとこと要約

本稿では、データを分割した領域からの事後分布近似を組み合わせるための期待値伝搬（EP）を用いた分散型ベイズ推論のフレームワークを提案する。これにより、正則化を保持したまま並列計算が可能になる。実験では、30のノードを用いた場合に最大96％の高速化を達成し、既存のコンSENSUSモンテカルロ法と同等またはそれ以上の精度を維持した。

ABSTRACT

A common divide-and-conquer approach for Bayesian computation with big data is to partition the data, perform local inference for each piece separately, and combine the results to obtain a global posterior approximation. While being conceptually and computationally appealing, this method involves the problematic need to also split the prior for the local inferences; these weakened priors may not provide enough regularization for each separate computation, thus eliminating one of the key advantages of Bayesian methods. To resolve this dilemma while still retaining the generalizability of the underlying local inference method, we apply the idea of expectation propagation (EP) as a framework for distributed Bayesian inference. The central idea is to iteratively update approximations to the local likelihoods given the state of the other approximations and the prior. The present paper has two roles: we review the steps that are needed to keep EP algorithms numerically stable, and we suggest a general approach, inspired by EP, for approaching data partitioning problems in a way that achieves the computational benefits of parallelism while allowing each local update to make use of relevant information from the other sites. In addition, we demonstrate how the method can be applied in a hierarchical context to make use of partitioning of both data and parameters. The paper describes a general algorithmic framework, rather than a specific algorithm, and presents an example implementation for it.

研究の動機と目的

• 大規模または分散型データセットにおけるベイズ推論を、データを分割して局所的な推論を組み合わせることで実現する。
• 分割統合型ベイズ推論における事前分布の正則化のジレンマを解決する。これは、事前分布を分割するとその効果が弱まるためである。
• 期待値伝搬のメッセージスイーピングメカニズムにインspiredされた、一般的かつ数値的に安定した分散型ベイズ推論のフレームワークを開発する。
• 複数のソースに分散されたデータやモデル部品を対象とした、階層モデルやプライバシー保護型設定における効率的推論を可能にする。
• EPに基づく分散型推論が、計算効率および近似精度の両面で、既存のコンセンサスモンテカルロ法を上回ることを示す。

提案手法

• 期待値伝搬のメッセージスイーピングフレームワークを用い、他のパーティションからのキャビティ分布を用いて、局所的な事後分布近似を反復的に更新する。
• グローバル事後分布推定に基づいて、局所尤度近似を改善するためのチルトド分布を適用し、複数のサイト間での情報共有を可能にする。
• グローバル事後分布サーバーを設け、グローバル近似を維持・更新し、更新内容を局所サイトに配布して反復的改善を実現する。
• モーメントマッチングやSNEPなど、さまざまな局所推論手法をサポートし、柔軟で効率的な局所計算を実現する。
• 高次元または複雑な尤度に対して特に有効な数値安定化技術を用い、EPアルゴリズムのロバスト性を確保する。
• データとパラメータの両方を分割することで階層モデルをサポートし、複数のソース間でのメタアナリシスや分散学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模データに対するベイズ推論を、データ分割を用いて効率的にスケーリングする方法は何か？ その際、事前の正則化を失わないようにするには？
• RQ2 期待値伝搬のメッセージスイーピングメカニズムを、複数のデータパーティションに一般化して分散推論を可能にすることができるか？
• RQ3 EPを分散型ベイズ推論に適用する際の主な数値的およびアルゴリズム的課題は何か？ それらはどのように解決できるか？
• RQ4 EPに基づく分散型推論は、コンセンサスモンテカルロ法や他の分割統合型手法と比較して、計算速度および近似誤差の両面で優れているか？
• RQ5 階層モデルやプライバシー保護型計算のような設定では、このフレームワークが最も効果的に応用できるのはどのような状況か？

主な発見

• 30の分散ノードを用いたEPでは、単一ノードの逐次実装と比較して計算時間が96％短縮された。
• Scottら（2016）のコンセンサスモンテカルロアルゴリズムよりも、計算時間および近似誤差の両面で優れた性能を示した。
• 30ノードEPは82°で別の混合成分に収束したが、10ノードEPは194°で別の成分に収束した。これは、分割方法や収束行動に敏感であることを示している。
• キャビティ分布とチルトド分布の使用により、局所推論間での効果的な情報共有が実現され、事後分布近似の品質が向上した。
• モーメントマッチングとSNEP手法は、局所推論において有効であることが示され、安定性および収束性の向上のためのハイブリッド利用の可能性も示された。
• このフレームワークは階層モデルをサポートしており、データやモデルが複数のソースに分散している状況、たとえばプライバシー保護型やメタアナリシス設定においても適用可能である。