[论文解读] Minimax Theory for High-dimensional Gaussian Mixtures with Sparse Mean Separation

Martin Azizyan, Aarti Singh+1 more|arXiv (Cornell University)|Jun 9, 2013

Bayesian Methods and Mixture Models参考文献 12被引用 36

一句话总结

本文在高维设置下，针对具有稀疏均值分离的高斯混合聚类问题，建立了紧致的极小极大下界。结果表明，样本复杂度仅依赖于相关（稀疏）维度数和均值分离度，且一种简单、计算高效的聚类方法几乎达到了信息论极限，为聚类中的特征选择提供了理论依据。

ABSTRACT

While several papers have investigated computationally and statistically efficient methods for learning Gaussian mixtures, precise minimax bounds for their statistical performance as well as fundamental limits in high-dimensional settings are not well-understood. In this paper, we provide precise information theoretic bounds on the clustering accuracy and sample complexity of learning a mixture of two isotropic Gaussians in high dimensions under small mean separation. If there is a sparse subset of relevant dimensions that determine the mean separation, then the sample complexity only depends on the number of relevant dimensions and mean separation, and can be achieved by a simple computationally efficient procedure. Our results provide the first step of a theoretical basis for recent methods that combine feature selection and clustering.

研究动机与目标

• 建立高维高斯混合模型在小均值分离情况下的聚类准确率与样本复杂度的精确信息论界。
• 分析在仅少数维度对成分间均值分离有贡献的设定下，聚类的统计性能。
• 证明在稀疏均值分离设定下，一种简单且计算高效的聚类方法几乎达到信息论意义上的样本复杂度。
• 为在高维无监督学习中结合特征选择与聚类提供理论依据。
• 澄清关于在小均值分离下学习两分量各向同性高斯混合模型时，统计复杂度与计算复杂度之间存在差距的误解。

提出的方法

• 将聚类问题建模为相对于贝叶斯最优分类器的误分类概率最小化，采用一种与真实分布下最优聚类比较的损失函数。
• 由于损失函数不满足三角不等式，采用非标准方法推导极小极大下界，依赖勒卡姆方法与费诺型不等式。
• 通过均值向量间夹角的几何论证，提出一种新型KL散度界，建立KL(Pθ, Pθ') ≤ ξ⁴(1 − cos β)，其中 ξ = ||μ||/(2σ)。
• 构造一组参数配置(θω)，其两两KL散度与误分类损失受控，以应用费诺不等式并推导下界。
• 利用组合构造（如汉明球）确保假设之间充分分离，同时保持KL散度有界。
• 分析非稀疏与稀疏均值分离设定，其中稀疏情形将均值差异限制在s ≤ d个维度内，并推导出与s相关的界，而非与d相关。

实验结果

研究问题

• RQ1 在高维空间中，对两个各向同性高斯分量进行聚类，其基本统计极限（极小极大风险）是什么，当均值分离较小时？
• RQ2 当仅s个维度对均值分离有贡献，而非全部d个维度时，样本复杂度如何随s变化？
• RQ3 在稀疏均值分离设定下，计算高效的聚类方法能否达到信息论意义上的样本复杂度？
• RQ4 在小均值分离下，学习两分量高斯混合模型时，是否存在统计复杂度与计算复杂度之间的差距？
• RQ5 在具有稀疏均值差异的高维设定下，特征选择在多大程度上能提升聚类性能？

主要发现

• 在非稀疏情形下，极小极大期望误分类损失满足：inf_Fn sup_θ∈Θλ EθLθ(Fn) ≥ (1/500) min(√(log 2)/3 * (σ²/λ²) * √((d−1)/n), 1/4)，表明其依赖于d与n。
• 在s个相关维度的稀疏情形下，极小极大风险的下界为(1/600) min(√(8/45) * (σ²/λ²) * √(s/(s−1)) * √(n⁻¹ log((d−1)/(s−1))), 1/2)，表明样本复杂度仅依赖于s，而非d。
• 下界与现有算法已知的样本复杂度要求在对数因子范围内一致，验证了理论极限的紧致性。
• 一种简单且计算高效的聚类方法在稀疏均值分离设定下几乎达到信息论意义上的样本复杂度，表明特征选择在统计上具有优势。
• 研究结果驳斥了关于在小均值分离下，两分量各向同性高斯混合模型的统计与计算复杂度本质不匹配的误解。
• 所采用的损失函数——相对于贝叶斯最优分类器的误分类概率——提供了一个有意义的基准，随着样本量增加，该基准趋于零，优于其他损失函数。