[論文レビュー] Learning Mixture of Gaussians with Streaming Data

Aditi Raghunathan, Prateek Jain+1 more|arXiv (Cornell University)|Jul 8, 2017

Machine Learning and Algorithms被引用数 3

ひとこと要約

本稿では、PCAを用いたオンライン初期化を施した変更版Lloydのヒューリスティックを用いて、1パスのデータストリームから球面ガウス混合モデルを学習するストリーミングアルゴリズムを提案する。中心の分離条件が緩い条件下でも最適な中心推定を達成し、バイアスと分散の収束速度がほぼ最適であることを証明。2成分混合モデルに対してはストリーミングEMの変種を用いて一貫した推定を実現する。

ABSTRACT

In this paper, we study the problem of learning a mixture of Gaussians with streaming data: given a stream of $N$ points in $d$ dimensions generated by an unknown mixture of $k$ spherical Gaussians, the goal is to estimate the model parameters using a single pass over the data stream. We analyze a streaming version of the popular Lloyd's heuristic and show that the algorithm estimates all the unknown centers of the component Gaussians accurately if they are sufficiently separated. Assuming each pair of centers are $C\sigma$ distant with $C=\Omega((k\log k)^{1/4}\sigma)$ and where $\sigma^2$ is the maximum variance of any Gaussian component, we show that asymptotically the algorithm estimates the centers optimally (up to certain constants); our center separation requirement matches the best known result for spherical Gaussians \citep{vempalawang}. For finite samples, we show that a bias term based on the initial estimate decreases at $O(1/{ m poly}(N))$ rate while variance decreases at nearly optimal rate of $\sigma^2 d/N$. Our analysis requires seeding the algorithm with a good initial estimate of the true cluster centers for which we provide an online PCA based clustering algorithm. Indeed, the asymptotic per-step time complexity of our algorithm is the optimal $d\cdot k$ while space complexity of our algorithm is $O(dk\log k)$. In addition to the bias and variance terms which tend to $0$, the hard-thresholding based updates of streaming Lloyd's algorithm is agnostic to the data distribution and hence incurs an \emph{approximation error} that cannot be avoided. However, by using a streaming version of the classical \emph{(soft-thresholding-based)} EM method that exploits the Gaussian distribution explicitly, we show that for a mixture of two Gaussians the true means can be estimated consistently, with estimation error decreasing at nearly optimal rate, and tending to $0$ for $N ightarrow \infty$.

研究の動機と目的

• メモリと時間の制約により従来のバッチ手法が不適切となる、単一パスのストリームデータからk個の球面ガウス混合モデルを学ぶ課題に対処する。
• 空間的・時間的複雑度を低く保ちながら、成分の平均を正確に推定できるように、Lloydのアルゴリズムのストリーミング版を開発する。
• クラスタ中心の分離条件の下で、推定誤差（バイアスと分散）の理論的保証を提供する。
• 初期化のバイアスを低減するため、最小限の事前知識で効果的なオンラインPCAに基づく初期化手法を導入する。
• 2成分ガウス混合モデルに対して、ストリーミングソフトスレッショーティングEMの変種が、真の平均の一致推定を達成できることを示す。

提案手法

• 点を最も近い中心に割り当てるためのハードスレッショーティング更新を組み込んだことで、ストリーミングデータ向けにLloydのアルゴリズムを適応する。
• 収束の鍵をなす初期中心推定値を、オンラインPCAによって得る。この手法は初期化バイアスを低減する。
• 初期化に起因するバイアス項を分析し、$ O(1/\text{poly}(N)) $ のレートで減少することを示し、分散は $ \sigma^2 d / N $ のほぼ最適なレートで減少する。
• ガウス分布の分布的仮定を明示的に活用することで、推定性能が向上する、ソフトスレッショーティングに基づくEMアルゴリズムのストリーミング版を導入する。
• 中心間隔の理論的境界を確立：$ C = \Omega((k\log k)^{1/4}) $ であり、球面ガウス分布における既存の最良結果と一致する。
• ステップあたりの漸近的時間計算量を $ O(dk) $、空間計算量を $ O(dk\log k) $ に抑え、問題に対して最適である。

実験結果

リサーチクエスチョン

• RQ1 中心分離条件が緩い場合でも、ストリーミング版Lloydのアルゴリズムが球面ガウス混合モデルに対して最適な推定精度を達成できるか？
• RQ2 ストリーミング設定下でのバイアスと分散の収束速度はどの程度か？ そして、ほぼ最適なレートにできるか？
• RQ3 計算コストを最小限に抑えながら、オンラインで良いクラスタ中心の初期推定値をどのように得られるか？
• RQ4 ガウス分布の構造を活用するストリーミングEMの変種は、$ N \to \infty $ の下で真の平均の一致推定を達成できるか？
• RQ5 ハードスレッショーティングによる近似誤差と統計的誤差の間にはどのようなトレードオフがあるか？

主な発見

• 中心分離条件 $ C = \Omega((k\log k)^{1/4}) $ の下で、ストリーミングLloydのアルゴリズムは漸近的に最適な中心推定を達成し、球面ガウス分布における既存の最良の境界と一致する。
• 初期推定からのバイアスは $ O(1/\text{poly}(N)) $ のレートで減少し、分散はほぼ最適なレート $ \sigma^2 d / N $ で減少する。
• アルゴリズムはステップあたりの時間計算量 $ O(dk) $ と空間計算量 $ O(dk\log k) $ を達成しており、高次元ストリーミングデータにスケーラブルである。
• 2成分混合モデルでは、ストリーミングソフトスレッショーティングEM法により、真の平均の一致推定が保証され、$ N \to \infty $ の下で誤差が0に収束する。
• ハードスレッショーティング更新は避けがたい近似誤差をもたらすが、これは統計的推定誤差とは別個であり、ソフトスレッショーティングEMの変種では一貫性に影響しない。