[论文解读] Clustering a Mixture of Gaussians with Unknown Covariance

Damek Davis, Mateo Díaz+1 more|arXiv (Cornell University)|Oct 4, 2021

Bayesian Methods and Mixture Models参考文献 89被引用 6

一句话总结

本文提出一种基于最大似然估计的 Max-Cut 整数规划方法，用于聚类具有未知且可能病态的协方差的两组高斯分布混合模型。该方法在样本量与维度呈线性关系（对数因子内）时，实现了最优误分类率，同时引入了一种计算高效的谱算法，该算法达到最优率但需要二次方样本量，表明存在统计-计算间隙。

ABSTRACT

We investigate a clustering problem with data from a mixture of Gaussians that share a common but unknown, and potentially ill-conditioned, covariance matrix. We start by considering Gaussian mixtures with two equally-sized components and derive a Max-Cut integer program based on maximum likelihood estimation. We prove its solutions achieve the optimal misclassification rate when the number of samples grows linearly in the dimension, up to a logarithmic factor. However, solving the Max-cut problem appears to be computationally intractable. To overcome this, we develop an efficient spectral algorithm that attains the optimal rate but requires a quadratic sample size. Although this sample complexity is worse than that of the Max-cut problem, we conjecture that no polynomial-time method can perform better. Furthermore, we gather numerical and theoretical evidence that supports the existence of a statistical-computational gap. Finally, we generalize the Max-Cut program to a $k$-means program that handles multi-component mixtures with possibly unequal weights. It enjoys similar optimality guarantees for mixtures of distributions that satisfy a transportation-cost inequality, encompassing Gaussian and strongly log-concave distributions.

研究动机与目标

• 解决高斯混合模型中均值和协方差均未知时，是否能以近线性样本复杂度实现最优聚类错误率这一开放问题。
• 开发一种计算高效的算法，即使在样本量为二次方时，仍能实现最优误分类率。
• 研究在未知协方差的高斯混合聚类中是否存在统计-计算间隙。
• 将 Max-Cut 公式推广至具有可能不等权重的多分量混合模型的 k-均值规划。
• 在运输成本不等式条件下，为 k-均值规划建立最优性保证，涵盖高斯分布和强对数凹分布。

提出的方法

• 针对具有未知公共协方差的两分量高斯混合模型，从最大似然估计出发，构建 Max-Cut 整数规划。
• 证明当样本量与维度呈线性关系（对数因子内）时，Max-Cut 规划的解能达到贝叶斯最优误分类率。
• 提出一种谱算法，可实现最优错误率，但需要二次方样本量，暗示存在计算瓶颈。
• 将 Max-Cut 规划推广为适用于多分量混合模型（含不等权重）的类 k-均值规划。
• 在运输成本不等式条件下，为 k-均值规划建立理论保证，该不等式涵盖高斯分布和强对数凹分布。
• 利用集中不等式和几何概率工具，分析高维渐近下 Max-Cut 和谱估计器的行为。

实验结果

研究问题

• RQ1 在两分量高斯混合模型中，当均值和协方差均未知时，能否以近线性样本复杂度实现贝叶斯最优误分类率？
• RQ2 是否存在一种计算高效的估计器，可在协方差未知时匹配最优错误率？
• RQ3 在未知协方差的高斯混合聚类中，是否存在统计-计算间隙，即最优错误率所需样本量超过多项式时间方法可处理的范围？
• RQ4 Max-Cut 公式能否推广至处理具有不等权重的多分量混合模型？
• RQ5 在更广泛的分布假设下（如满足运输成本不等式的分布），所提出的估计器是否仍保持最优性？

主要发现

• Max-Cut 整数规划在样本复杂度与维度呈线性关系（对数因子内）时，实现了最优误分类率。
• 谱算法实现了相同的最优错误率，但需要二次方样本量，提示可能存在统计-计算间隙。
• 数值和理论证据支持统计-计算间隙的存在，即任何多项式时间方法均无法匹配 Max-Cut 方法的线性样本复杂度。
• k-均值规划将 Max-Cut 公式推广至多分量混合模型，并在运输成本不等式下实现了类似的最优性保证。
• 结果可推广至满足运输成本不等式的分布，包括高斯分布和强对数凹分布，从而扩大了该框架的适用范围。
• 本文证明了贝叶斯最优错误率是所有估计器的下界，而 Max-Cut 方法以最小样本量达到了该下界。