[論文レビュー] Streaming, Distributed Variational Inference for Bayesian Nonparametrics

Trevor Campbell, Julian Straub+2 more|arXiv (Cornell University)|Oct 30, 2015

Bayesian Methods and Mixture Models参考文献 21被引用数 3

ひとこと要約

本稿では、組合せ的要素同定問題を最適化によって解くことで、非同期的で学習率フリーかつ截断なしの推論を可能にする、流動的で分散型の変分推論フレームワークを提案する。この手法は並列ノード間で効率的にスケーリングされ、MNIST や航空機の飛行経路といった大規模データセットにおいて、桁違いの高速化を達成しながらも、競争力のあるモデル品質を維持する。

ABSTRACT

This paper presents a methodology for creating streaming, distributed inference algorithms for Bayesian nonparametric (BNP) models. In the proposed framework, processing nodes receive a sequence of data minibatches, compute a variational posterior for each, and make asynchronous streaming updates to a central model. In contrast to previous algorithms, the proposed framework is truly streaming, distributed, asynchronous, learning-rate-free, and truncation-free. The key challenge in developing the framework, arising from the fact that BNP models do not impose an inherent ordering on their components, is finding the correspondence between minibatch and central BNP posterior components before performing each update. To address this, the paper develops a combinatorial optimization problem over component correspondences, and provides an efficient solution technique. The paper concludes with an application of the methodology to the DP mixture model, with experimental results demonstrating its practical scalability and performance.

研究の動機と目的

• ベイジアン非パラメトリックモデルにおける真に流動的で分散型かつ非同期的推論アルゴリズムの欠如に対処すること。
• 分散ミニバッチ間で成分に固有の順序がないことによる組合せ的要素同定問題を解くこと。
• 並列処理とストリーミングデータ処理下でもモデル品質を維持できる、学習率フリーかつ截断なしの推論フレームワークを構築すること。
• MNIST や航空機の飛行経路、SUN画像といった大規模データセット上で、スケーラブルかつ高パフォーマンスな推論を可能にすること。
• ディリクレ過程混合モデルに限らず、他のベイジアン非パラメトリック事前分布にも適用可能な汎用的メソドロジーを提供すること。

提案手法

• 学習率を必要とせず、ストリーミングで分散推論を可能にするミニバッチ事後分布分解を提案する。
• 成分マッチング確率を最大化することで、ミニバッチと中央事後分布間の成分を一致させる組合せ最適化問題を導入する。
• ジェンセンの不等式を用いてディリクレ過程事前分布の実行可能な正則化バウンドを導出し、計算を効率化する。
• 非同期更新を採用し、各ノードが局所的な変分事後分布を計算し、成分対応問題を解いた後、中央モデルに更新をストリーミングする。
• 1回の更新あたり約10−5秒で実行される成分マッチングアルゴリズムを採用し、計算オーバーヘッドを最小限に抑える。
• 変分推論を用いたディリクレ過程混合モデルにこのフレームワークを適用し、実世界のデータセット上でスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックモデルは、どのようにストリーミング的で分散型かつ非同期的環境下で効率的に推論可能か？
• RQ2 複数の独立したミニバッチからの変分事後分布を統合する際、効果的な方法で成分同定問題を解くにはどうすればよいか？
• RQ3 分散処理下で、学習率フリーかつ截断なしの推論フレームワークをベイジアン非パラメトリックモデルに設計できるか？
• RQ4 並列処理は、ストリーミング型ベイジアン非パラメトリック推論におけるモデル品質と収束速度にどのように影響するか？
• RQ5 提案手法は、競争力のあるモデル性能を維持しながら、大規模な実世界データセットにスケーリング可能か？

主な発見

• SDA-DPは、航空機データで-0.55、MNISTで-145.3、SUNで-150.3のテスト対数尤度を達成し、バッチ法や他のストリーミング手法と同等の性能を示した。
• 航空機データでは0.66秒、MNISTでは3.0秒、SUNでは9.4秒の計算時間にまで短縮されたのに対し、バッチ推論ではそれぞれ1.07秒、829.6秒、1881.5秒を要した。
• 40スレッドで実行した場合、SDA-DPは他の手法と同等のテスト対数尤度に著しく短時間で到達し、優れたスケーラビリティを示した。
• 成分マッチングは1回の更新あたり1ミリ秒未塔（約10−5秒）で実行され、全体のパフォーマンスをブロッキングしないことが確認された。
• 80%以上の成分マッチング問題が最初の80回のミニバッチ更新以内に解決されたことから、安定したクラスタ構造への迅速な収束が示された。
• 並列度を高めることで、初期の誤りを是正する機会が増加し、クラスタ発見の正確性が向上した。