[論文レビュー] D-MFVI: Distributed Mean Field Variational Inference using Bregman ADMM

Behnam Babagholami-Mohamadabadi, Sejong Yoon+1 more|arXiv (Cornell University)|Jul 3, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用数 6

ひとこと要約

本稿では、大規模で分散型のネットワークにおけるスケーラブルなベイズ学習を実現するため、Bregman ADMMを用いた分散型平均場変分ベイズ推論フレームワークD-MFVIを提案する。局所的な推論と一貫性に基づくパラメータ共有を可能とし、行列分解および構造からのモーションタスクにおいて中央集権的推論と同等の性能を達成するとともに、欠損データやストリーミング入力の処理を効果的に行う。

ABSTRACT

Bayesian models provide a framework for probabilistic modelling of complex datasets. However, many of such models are computationally demanding especially in the presence of large datasets. On the other hand, in sensor network applications, statistical (Bayesian) parameter estimation usually needs distributed algorithms, in which both data and computation are distributed across the nodes of the network. In this paper we propose a general framework for distributed Bayesian learning using Bregman Alternating Direction Method of Multipliers (B-ADMM). We demonstrate the utility of our framework, with Mean Field Variational Bayes (MFVB) as the primitive for distributed Matrix Factorization (MF) and distributed affine structure from motion (SfM).

研究の動機と目的

• 大規模で分散型のセンサーネットワークにおける中央集権的ベイズ学習の限界を克服すること。
• 従来の決定的分散最適化とは異なり、完全な事後分布推定、不確実性の評価、ストリーミングデータ処理をサポートする分散推論を可能にすること。
• 中央集権的なデータ収集や計算を一切行わず、中央集権的推論と同等の精度を維持するスケーラブルなフレームワークを構築すること。
• ベイズ推論を用いて分散環境下で欠損データ（MARおよびMNAR）を効果的に処理し、非ベイズ的手法を上回ること。
• Bregman ADMMを用いて分散型グラフィカルモデルにおける平均場変分ベイズ推論を拡張し、ネットワークノード間での収束と一貫性を実現すること。

提案手法

• グローバルおよびローカルの潜在変数を有する一般化されたベイズ的グラフィカルモデルを定式化し、ノード間で条件付き独立性と指数型分布族を仮定する。
• 事後分布の近似に平均場変分ベイズ（MFVB）を適用し、目的関数を局所的項と一貫性項に分解する。
• 最適化を局所的更新と双対変数およびBregman散発に基づく一貫性強制に分解するためにBregman ADMMを用いる。
• Bregman散発に基づく分割を用いて、変分パラメータ、双対変数、一貫性制約の反復的更新ルールを導出する。
• ADMM収束理論を根拠に、局所的パラメータおよび双対変数の分散型座標昇降更新を導入し、収束を保証する。
• ガンマ事前分布と平均場更新を用いてハイパーパラメータ（例：精度、集中度）を学習するフレームワークを拡張し、点推定に代えて確率的推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なデータ収集や計算なしに、中央集権的推論と同等の精度を維持しつつ、分散型ベイズ推論を実現できるか？
• RQ2 提案されたD-MFVIフレームワークは、非ベイズ的手法と比較して、分散環境下での欠損データ（MARおよびMNAR）をどのように処理するか？
• RQ3 D-MFVIの収束特性およびスケーラビリティは、異なるネットワークトポロジーおよびサイズにおいてどのように変化するか？
• RQ4 個々のノードでのバッチ処理を回避することで、リアルタイムまたはストリーミングデータ処理をサポートできるか？
• RQ5 Bregman ADMMは、ベイズ推論の文脈において、分散ノード間での一貫性をどのように効果的に強制するか？

主な発見

• D-MFVIは、全テスト対象のネットワークサイズおよびトポロジーにおいて100イテレーション以内に収束し、中央集権的推論と同等の目的関数値を達成する。
• リング、スターや完全接続トポロジーでは、わずか10イテレーションで収束し、ネットワーク構造に対して頑健な性能を示す。
• 合成データにおいて、D-BPCAは中央集権的BPCAと同等の再構成誤差を達成し、100イタレーション以内で目的関数の相対的変化が10^-3未満に収まる。
• Caltechデータセットでは、D-BPCAはMARおよびMNARの両設定でD-PPCAを上回り、平均部分空間角はMARで2.20対4.06、MNARで7.22対9.49を記錸する。
• 欠損データ実験では、D-BPCAはD-PPCAよりも低い平均二乗誤差を達成し、特にMAR条件下で優れたデータ補完能力を示す。
• 本フレームワークは、不確実性と事後分布推定を自然に組み込むことで、ストリーミングデータおよび欠損データを効果的に処理でき、決定的分散手法とは対照的である。