[论文解读] Learning Mixture of Gaussians with Streaming Data

Aditi Raghunathan, Prateek Jain+1 more|arXiv (Cornell University)|Jul 8, 2017

Machine Learning and Algorithms被引用 3

一句话总结

本文提出一种流式算法，通过使用基于PCA的在线初始化改进Lloyd算法，实现对球面高斯混合模型的在线学习，在温和的中心分离条件下实现最优中心估计；证明了偏差和方差的近乎最优收敛速率，并通过流式EM变体实现了双分量混合模型的一致估计。

ABSTRACT

In this paper, we study the problem of learning a mixture of Gaussians with streaming data: given a stream of $N$ points in $d$ dimensions generated by an unknown mixture of $k$ spherical Gaussians, the goal is to estimate the model parameters using a single pass over the data stream. We analyze a streaming version of the popular Lloyd's heuristic and show that the algorithm estimates all the unknown centers of the component Gaussians accurately if they are sufficiently separated. Assuming each pair of centers are $C\sigma$ distant with $C=\Omega((k\log k)^{1/4}\sigma)$ and where $\sigma^2$ is the maximum variance of any Gaussian component, we show that asymptotically the algorithm estimates the centers optimally (up to certain constants); our center separation requirement matches the best known result for spherical Gaussians \citep{vempalawang}. For finite samples, we show that a bias term based on the initial estimate decreases at $O(1/{ m poly}(N))$ rate while variance decreases at nearly optimal rate of $\sigma^2 d/N$. Our analysis requires seeding the algorithm with a good initial estimate of the true cluster centers for which we provide an online PCA based clustering algorithm. Indeed, the asymptotic per-step time complexity of our algorithm is the optimal $d\cdot k$ while space complexity of our algorithm is $O(dk\log k)$. In addition to the bias and variance terms which tend to $0$, the hard-thresholding based updates of streaming Lloyd's algorithm is agnostic to the data distribution and hence incurs an \emph{approximation error} that cannot be avoided. However, by using a streaming version of the classical \emph{(soft-thresholding-based)} EM method that exploits the Gaussian distribution explicitly, we show that for a mixture of two Gaussians the true means can be estimated consistently, with estimation error decreasing at nearly optimal rate, and tending to $0$ for $N ightarrow \infty$.

研究动机与目标

• 解决从单次遍历数据流中学习k个球面高斯混合模型的挑战，由于内存和时间限制，传统批处理方法在此类场景下不可行。
• 开发Lloyd算法的流式变体，保持低空间和时间复杂度，同时实现对分量均值的精确估计。
• 在聚类中心满足分离条件的前提下，提供对估计误差（包括偏差和方差）的理论保证。
• 提出一种基于在线PCA的种子初始化方法，以最小先验知识实现对流式算法的有效初始化。
• 证明一种流式软阈值EM变体能够实现双分量高斯混合模型真实均值的一致估计。

提出的方法

• 通过引入基于最近中心的硬阈值更新，将Lloyd算法适配于流式数据，实现点到聚类的分配。
• 使用在线PCA计算聚类中心的初始估计，这对收敛性至关重要，并可降低初始化偏差。
• 分析初始种子引入的偏差项，证明其衰减速率为 $ O(1/\text{poly}(N)) $，方差衰减速率为 $ \sigma^2 d / N $，接近最优。
• 提出一种基于软阈值的EM算法的流式版本，显式利用高斯分布假设以提升估计性能。
• 建立对中心分离的理论边界：$ C = \Omega((k\log k)^{1/4}) $，与球面高斯模型的最优已知结果一致。
• 实现每步的渐近时间复杂度为 $ O(dk) $，空间复杂度为 $ O(dk\log k) $，两者均为该问题的最优解。

实验结果

研究问题

• RQ1 在中心分离条件较弱的情况下，流式Lloyd算法能否实现球面高斯混合模型的最优估计精度？
• RQ2 在流式设置下，偏差和方差的收敛速率如何？能否使其接近最优？
• RQ3 如何以极低计算成本在线获取聚类中心的良好初始估计？
• RQ4 能否通过利用高斯分布结构的流式EM变体，实现当 $ N \to \infty $ 时真实均值的一致估计？
• RQ5 在流式聚类中，硬阈值化引入的近似误差与统计估计误差之间存在何种权衡？

主要发现

• 在中心分离条件 $ C = \Omega((k\log k)^{1/4}) $ 下，流式Lloyd算法实现了渐近最优的中心估计，与球面高斯模型的最优已知边界一致。
• 初始估计带来的偏差衰减速率为 $ O(1/\text{poly}(N)) $，方差衰减速率为近乎最优的 $ \sigma^2 d / N $。
• 该算法实现了最优的每步时间复杂度 $ O(dk) $ 和空间复杂度 $ O(dk\log k) $，使其在高维流数据中具备可扩展性。
• 对于双分量混合模型，流式软阈值EM方法可确保真实均值的一致估计，误差随 $ N \to \infty $ 趋近于零。
• 硬阈值化更新引入不可避免的近似误差，但该误差与统计估计误差相互独立，且不影响软阈值EM变体的一致性。