[论文解读] A Nearly Optimal and Agnostic Algorithm for Properly Learning a Mixture of k Gaussians, for any Constant k

Jerry Zheng Li, Ludwig Schmidt|arXiv (Cornell University)|Jun 3, 2015

Machine Learning and Algorithms参考文献 29被引用 12

一句话总结

该论文提出了一种近乎最优且鲁棒的算法，用于准确学习 $k$ 个一元高斯分布的混合模型，实现了样本复杂度 $\widetilde{O}(k/\epsilon^2)$ 和运行时间 $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$，对于固定的 $k$，该运行时间接近样本数量的线性时间。该方法首先进行密度估计，然后通过求解多项式方程组将高斯混合模型拟合到估计的密度上，从而即使真实分布并非高斯混合模型，也能实现鲁棒学习。

ABSTRACT

Learning a Gaussian mixture model (GMM) is a fundamental problem in machine learning, learning theory, and statistics. One notion of learning a GMM is proper learning: here, the goal is to find a mixture of $k$ Gaussians $\mathcal{M}$ that is close to the density $f$ of the unknown distribution from which we draw samples. The distance between $\mathcal{M}$ and $f$ is typically measured in the total variation or $L_1$-norm. We give an algorithm for learning a mixture of $k$ univariate Gaussians that is nearly optimal for any fixed $k$. The sample complexity of our algorithm is $ ilde{O}(\frac{k}{ε^2})$ and the running time is $(k \cdot \log\frac{1}ε)^{O(k^4)} + ilde{O}(\frac{k}{ε^2})$. It is well-known that this sample complexity is optimal (up to logarithmic factors), and it was already achieved by prior work. However, the best known time complexity for proper learning a $k$-GMM was $ ilde{O}(\frac{1}{ε^{3k-1}})$. In particular, the dependence between $\frac{1}ε$ and $k$ was exponential. We significantly improve this dependence by replacing the $\frac{1}ε$ term with a $\log \frac{1}ε$ while only increasing the exponent moderately. Hence, for any fixed $k$, the $ ilde{O} (\frac{k}{ε^2})$ term dominates our running time, and thus our algorithm runs in time which is nearly-linear in the number of samples drawn. Achieving a running time of $ extrm{poly}(k, \frac{1}ε)$ for proper learning of $k$-GMMs has recently been stated as an open problem by multiple researchers, and we make progress on this question. Moreover, our approach offers an agnostic learning guarantee: our algorithm returns a good GMM even if the distribution we are sampling from is not a mixture of Gaussians. To the best of our knowledge, our algorithm is the first agnostic proper learning algorithm for GMMs.

研究动机与目标

• 开发一种用于准确学习 $k$ 个一元高斯分布混合模型的算法，实现近乎最优的样本复杂度和时间复杂度。
• 解决一个开放问题：实现 $\text{poly}(k, 1/\epsilon)$ 时间复杂度的 $k$-GMM 准确学习。
• 提供鲁棒学习保证，确保即使真实分布并非高斯混合模型，也能保持良好性能。
• 将该方法推广到其他参数型一元分布（如指数分布和拉普拉斯分布）。

提出的方法

• 算法首先通过非参数密度估计步骤，获得真实分布密度的近似值。
• 然后将拟合 $k$-高斯混合模型到估计密度的问题转化为一个确定性优化问题。
• 通过使用 Renegar 的算法，将该优化问题简化为求解一系列多项式不等式组。
• 该方法利用了 $k$-高斯密度差值的零点数量有界，且密度可由与参数呈多项式依赖关系的分段多项式逼近的性质。
• 通过鲁棒参数化，确保参数的微小扰动仅引起密度的 $L_1$-距离的微小变化。
• 通过验证零点结构、参数化方式和多项式逼近的结构性质，该框架可推广至其他分布（如指数分布、拉普拉斯分布）。

实验结果

研究问题

• RQ1 对于任意固定的 $k$，我们能否实现近乎最优的样本复杂度和接近线性的运行时间，用于 $k$-高斯混合模型的准确学习？
• RQ2 我们能否设计一种准确学习算法，即使真实分布并非高斯混合模型，也能保持有效性，即实现鲁棒学习？
• RQ3 能否将时间复杂度对 $1/\epsilon$ 的依赖关系从指数级降低到对数级，同时保持准确学习的保证？
• RQ4 所提出的算法能否推广到高斯分布以外的其他参数型一元分布族？

主要发现

• 该算法实现了样本复杂度 $\widetilde{O}(k/\epsilon^2)$，在对数因子范围内为最优。
• 运行时间为 $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$，显著优于先前的 $\widetilde{O}(1/\epsilon^{3k-1})$ 的界。
• 该算法提供了鲁棒学习保证，即使数据并非来自高斯混合模型，也能返回一个表现良好的 $k$-高斯混合模型。
• 该方法可推广至 $k$ 个指数分布和 $k$ 个拉普拉斯分布的混合模型，达到相同的样本复杂度和时间复杂度界。
• 该框架是首个在固定 $k$ 的情况下，实现准确学习 $k$-GMM 时运行时间接近样本数量线性时间的方案。
• 该方法将准确学习问题转化为求解多项式系统，从而为学习具有类似结构特性的其他参数型分布提供了一般性模板。