[論文レビュー] Approximate Decentralized Bayesian Inference

Trevor Campbell, Jonathan P. How|arXiv (Cornell University)|Mar 28, 2014

Machine Learning and Algorithms参考文献 22被引用数 5

ひとこと要約

本稿では、分散型ベイズ推論のための方法である対称性を考慮した事後分布の近似的な統合（AMPS）を提案する。この手法は、複数のエージェント間で変分事後分布の対称性が破壊される問題を是正する。特徴量の順列を対称性に配慮した目的関数を用いて最適化することで、LDA や潜在的特徴割り当てモデルのようなモデルにおいて、単純な結合法やバッチ学習に比べて予測性能と計算効率が向上する。

ABSTRACT

This paper presents an approximate method for performing Bayesian inference in models with conditional independence over a decentralized network of learning agents. The method first employs variational inference on each individual learning agent to generate a local approximate posterior, the agents transmit their local posteriors to other agents in the network, and finally each agent combines its set of received local posteriors. The key insight in this work is that, for many Bayesian models, approximate inference schemes destroy symmetry and dependencies in the model that are crucial to the correct application of Bayes' rule when combining the local posteriors. The proposed method addresses this issue by including an additional optimization step in the combination procedure that accounts for these broken dependencies. Experiments on synthetic and real data demonstrate that the decentralized method provides advantages in computational performance and predictive test likelihood over previous batch and distributed methods.

研究の動機と目的

• 変分推論における対称性の破壊によって生じる、分散型ベイズ学習における一貫性の欠如した事後分布近似の課題に対処すること。
• 中央集権的な調整者なしで、動的かつ非同期なネットワークにおいても、強固でスケーラブルな推論を可能にすること。
• 固有の対称性を持つ非パラメトリックモデルにおける、単純な事後分布結合法よりも優れた予測性能を実現すること。
• 部分的通信、エージェント障害、未知のトポロジーを伴うアドホックネットワークへの柔軟な展開を可能にすること。
• ストリーミング変分推論および既存の分散学習パイプラインと互換性を持つ一般化可能なフレームワークを提供すること。

提案手法

• 各エージェントは自らのデータに対して局所的な変分推論を実行し、分解可能な近似的事後分布を生成する。
• エージェントは、他のエージェントとその局所的事後分布パラメータ（例：自然パラメータ）を非同期に共有する。
• 対称性に配慮した組み合わせステップでは、破壊された対称性を回復するために、目的関数（AMPS）を用いて特徴量の順序を再配置する。
• AMPS 目的関数は、特徴量ごとの和として定義され、(1−N)×prior + Σi×posterior のルールを用いて事前と事後自然パラメータを組み合わせる。
• 最適化は、最良の特徴量順列を求めるために反復的な最大重み二部マッチングを用いて実行される。
• この手法は指数型分布族モデルと互換性があり、ストリーミング変分近似と統合可能である。

実験結果

リサーチクエスチョン

• RQ1 分散型ベイズ推論は、エージェント間で変分近似における対称性の破壊に対して、どのようにして耐性をもたせることができるか？
• RQ2 後結合最適化ステップは、分散環境における単純なベイズ結合法よりも、予測性能を向上させることができるか？
• RQ3 予測尤度と計算効率の観点から、提案手法はバッチ学習および分散学習と比べてどのように異なるか？
• RQ4 ネットワークの動的変化や部分的通信が、分散推論の性能に与える影響は何か？
• RQ5 この手法は、非パラメトリックモデルや未知の潜在次元性を持つモデルへ一般化可能か？

主な発見

• 合成データにおいて、AMPS はバッチ学習と同等の水準にまで2-ノルム誤差を低減し、単純な結合法や個々のエージェントよりも優れた性能を示した。
• 合成データセットでは、AMPS は単純なアプローチよりも高いテスト尤度を達成したが、モデルの柔軟性のため、差は小さかった。
• 顔データセットでは、AMPS は単純な方法に比べて、保留された画素の予測尤度が向上しており、実用的利点が明確に示された。
• 動的ネットワーク環境下でも性能を維持でき、完全なネットワーク接続性や同期更新を必要としない。
• AMPS は、特に大規模またはストリーミング環境において、バッチ法に比べて計算上の利点を有するスケーラブルな分散推論を可能にする。
• 対称性に配慮した最適化ステップは不可欠である：単純な結合では、変分近似における対称性の破壊により、正しい事後分布構造を回復できない。