[論文レビュー] Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching

Priyank Jaini, Pascal Poupart|arXiv (Cornell University)|Sep 19, 2016

Bayesian Methods and Mixture Models参考文献 12被引用数 5

ひとこと要約

本稿では、事後分布の不確実性を扱えるオンラインかつ分散型のガウス・ミクスチャ・モデル（GMM）学習手法として、オンライン・ベイジアン・モーメント・マッチング（oBMM）を提案する。この手法は、不確実な事後分布を解析的に扱える分布族（積のディリクレ分布とノルム・ウィシャールト分布）にモーメントマッチングで投影することで、計算が可能となる。oBMMは、精度と速度の両面でオンラインEMを上回り、10個のデータセットのうち9つでより高い対数尤度を達成した。また、oDMMは、最小限の精度損失でスケーラブルかつ分散型の推論を可能にした。

ABSTRACT

The Gaussian mixture model is a classic technique for clustering and data modeling that is used in numerous applications. With the rise of big data, there is a need for parameter estimation techniques that can handle streaming data and distribute the computation over several processors. While online variants of the Expectation Maximization (EM) algorithm exist, their data efficiency is reduced by a stochastic approximation of the E-step and it is not clear how to distribute the computation over multiple processors. We propose a Bayesian learning technique that lends itself naturally to online and distributed computation. Since the Bayesian posterior is not tractable, we project it onto a family of tractable distributions after each observation by matching a set of sufficient moments. This Bayesian moment matching technique compares favorably to online EM in terms of time and accuracy on a set of data modeling benchmarks.

研究の動機と目的

• ストリーミングおよび分散環境下でのオンラインEMの限界を解消する。特に、確率的Eステップ近似によるデータ効率の低下と、逐次的更新による並列処理の困難さを改善する。
• 解析的後方分布近似を用いたベイジアン推論により、オンラインおよび分散環境下でのGMMのスケーラブルかつ高精度なパラメータ推定を実現する。
• 単一パス学習環境でも高い精度を維持しつつ、複数プロセッサへの効率的分散を可能にする手法を開発する。
• モーメントマッチングに基づくベイジアン近似が、確率的Eステップ近似を用いるオンラインEMを上回る収束速度とモデル尤度を達成できることを示す。

提案手法

• 各観測値の後でベイズの定理を用いて事後分布を更新することで、オンライン学習を実現する。
• 不確実な事後分布を、解析的に扱える分布族（積のディリクレ分布とノルム・ウィシャールト分布）に、モーメントマッチングを用いて投影することで近似する。
• 真の事後分布の十分統計量（例：平均、共分散）と近似事後分布のものを一致させることで、統計的整合性を確保する。
• データを複数のマシンに分割し、各マシンで局所的事後分布を独立に計算した後、事後分布の積を事前分布で除算することで結合する。これにより分散計算を可能にする。
• M個の成分を持つGMMに適用し、十分統計量を用いてパラメータ（重み、平均、共分散）を逐次的に更新する。
• 共役事前分布構造（混合重みにはディリクレ分布、平均と共分散にはノルム・ウィシャールト分布）を用いることで、解析的更新とモーメントマッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン・モーメント・マッチングは、ストリーミングGMM学習におけるオンラインEMよりもより正確で効率的な代替手段となり得るか？
• RQ2 収束速度とテストデータ上の対数尤度という観点から、オンライン・ベイジアン・モーメント・マッチングはオンラインEMを上回る性能を示すか？
• RQ3 ベイジアン・モーメント・マッチングフレームワークは、モデル精度に顕著な損失を伴わずに、複数のマシンに分散可能か？
• RQ4 独自の近似誤差を導入するものの、確率的Eステップ近似を用いるオンラインEMを上回る性能を、モーメントマッチングに基づく事後分布近似が達成できるか？
• RQ5 提案されたベイジアン・モーメント・マッチングフレームワークを用いて、GMMの成分数をオンラインで学習することが可能か？

主な発見

• オンライン・ベイジアン・モーメント・マッチング（oBMM）は、ベンチマークデータセットの10個中9個でオンラインEMを上回る対数尤度スコアを達成し、p値 < 0.05の有意差を示した。
• 390万件のインスタンスを有するHeterogeneityデータセットでは、oBMMが対数尤度 -174.3を達成し、oEM（-176.2）とoDMM（-180.7）を上回り、優れた精度を示した。
• 分散版であるオンライン分散モーメント・マッチング（oDMM）は、Heterogeneityデータセットで17.5秒という高速な実行時間を達成した。これは、oEMの77.3秒、oBMMの81.7秒を下回る。
• oDMMは、Heterogeneityデータセットで-180.7という競争力のある対数尤度を達成し、oBMMの-174.3に比べてわずかに劣るが、分散による精度損失は最小限に抑えられた。
• oBMMは単一パスで収束し、複数パスを要するoEMに比べて、ストリーミング環境下での優位性を示した。
• 高次元（Year MSD：91属性）および大規模（MiniBooNe：13万インスタンス）データを含む多様なデータセットにおいて、本手法は高いロバスト性を示した。