[论文解读] Learning Mixtures of Gaussians in High Dimensions

Rong Ge, Qingqing Huang+1 more|arXiv (Cornell University)|Mar 2, 2015

Tensor decomposition and applications参考文献 23被引用 19

一句话总结

本论文提出了一种在高维空间（n ≥ Ω(k²)）下，基于平滑分析（参数被随机扰动）的多项式时间算法，用于学习高斯混合模型。通过利用高阶矩张量的对称性（基于 Isserlis 定理）并开发了用于有结构随机矩阵奇异值有界的新工具，该方法实现了多项式时间与样本复杂度的高效学习，克服了最坏情况下的指数级障碍。

ABSTRACT

Efficiently learning mixture of Gaussians is a fundamental problem in statistics and learning theory. Given samples coming from a random one out of k Gaussian distributions in Rn, the learning problem asks to estimate the means and the covariance matrices of these Gaussians. This learning problem arises in many areas ranging from the natural sciences to the social sciences, and has also found many machine learning applications. Unfortunately, learning mixture of Gaussians is an information theoretically hard problem: in order to learn the parameters up to a reasonable accuracy, the number of samples required is exponential in the number of Gaussian components in the worst case. In this work, we show that provided we are in high enough dimensions, the class of Gaussian mixtures is learnable in its most general form under a smoothed analysis framework, where the parameters are randomly perturbed from an adversarial starting point. In particular, given samples from a mixture of Gaussians with randomly perturbed parameters, when n > Ω(k^2), we give an algorithm that learns the parameters with polynomial running time and using polynomial number of samples. The central algorithmic ideas consist of new ways to decompose the moment tensor of the Gaussian mixture by exploiting its structural properties. The symmetries of this tensor are derived from the combinatorial structure of higher order moments of Gaussian distributions (sometimes referred to as Isserlis' theorem or Wick's theorem). We also develop new tools for bounding smallest singular values of structured random matrices, which could be useful in other smoothed analysis settings.

研究动机与目标

• 解决在最坏情况下高维空间中学习高斯混合模型的计算困难问题。
• 证明当维度 n 足够大（n ≥ Ω(k²)）时，平滑分析可实现对一般高斯混合模型的高效学习。
• 提出一种基于高阶矩张量的方法，利用 Isserlis 定理带来的结构性对称性。
• 在参数随机扰动下，建立一般高斯混合模型学习的多项式时间与样本复杂度。
• 为有结构随机矩阵的最小奇异值提供新的有界工具，该工具可推广至本问题之外的应用。

提出的方法

• 采用矩方法，从样本中估计 O(k)-阶矩，以重构底层的高斯分量。
• 利用高阶矩的组合结构（Wick 定理 / Isserlis 定理）所导出的固有对称性，对矩张量进行分解。
• 应用平滑分析：参数先由对手选择，随后施加小幅度随机扰动 ρ，使退化情形变得罕见。
• 使用解耦与耦合的高斯混沌不等式，控制有结构随机张量的尾部概率。
• 提出一种针对有结构随机矩阵的新奇异值有界方法，以确保张量分解的鲁棒性与稳定性。
• 利用 Frobenius 范数与基于划分的范数，控制在随机扰动下矩张量分量的大小。

实验结果

研究问题

• RQ1 在高维设置下，能否以多项式时间与多项式样本复杂度学习高斯混合模型？
• RQ2 平滑分析是否能消除使用一般协方差矩阵学习高斯混合模型时的最坏情况困难？
• RQ3 能否通过基于对称性的方法有效分解高阶矩张量以实现参数恢复？
• RQ4 在平滑分析下，确保高效学习所需的最小维度 n 是多少？
• RQ5 针对有结构随机矩阵的新浓度不等式能否改进基于矩的学习算法的分析？

主要发现

• 当 n ≥ Ω(k²) 时，该算法可在多项式时间与多项式样本复杂度下学习具有 k 个分量的一般高斯混合模型。
• 该方法通过利用 Isserlis 定理所揭示的高阶矩的对称与组合结构实现此目标。
• 针对含对角项的高斯混沌的新浓度不等式，确保了矩张量估计的鲁棒性。
• 有结构随机矩阵的最小奇异值以高概率被有界，从而支持了稳定的张量分解。
• 平滑分析框架确保了不良实例稀少，因为在小随机扰动后，这些实例在参数空间中被孤立。
• 通过假设参数被扰动，该方法克服了 Moitra 和 Valiant（2010）在最坏情况下所证明的指数级样本复杂度下限。