[论文解读] Moment-based Uniform Deviation Bounds for $k$-means and Friends

Matus Telgarsky, Sanjoy Dasgupta|arXiv (Cornell University)|Nov 8, 2013

Bayesian Methods and Mixture Models参考文献 10被引用 7

一句话总结

该论文在弱矩假设下，为 $k$-means 和高斯混合模型建立了基于矩的统一偏差界，避免了有界性或次高斯性的要求。它引入了一种新颖的外部 bracket 技术，以控制无界参数空间中的偏差，实现了 $k$-means 在 $p \geq 4$ 阶矩下的 $\mathcal{O}(m^{-1/4})$ 速率，以及高斯混合模型在 $p \geq 8$ 阶矩下的 $\mathcal{O}(m^{-1/2 + 3/p})$ 速率。

ABSTRACT

Suppose $k$ centers are fit to $m$ points by heuristically minimizing the $k$-means cost; what is the corresponding fit over the source distribution? This question is resolved here for distributions with $p\geq 4$ bounded moments; in particular, the difference between the sample cost and distribution cost decays with $m$ and $p$ as $m^{\min\{-1/4, -1/2+2/p\}}$. The essential technical contribution is a mechanism to uniformly control deviations in the face of unbounded parameter sets, cost functions, and source distributions. To further demonstrate this mechanism, a soft clustering variant of $k$-means cost is also considered, namely the log likelihood of a Gaussian mixture, subject to the constraint that all covariance matrices have bounded spectrum. Lastly, a rate with refined constants is provided for $k$-means instances possessing some cluster structure.

研究动机与目标

• 在不依赖有界或次高斯分布的前提下，为 $k$-means 和软聚类（高斯混合对数似然）提供有限样本偏差界。
• 解决当参数空间和代价函数无界时，统一偏差控制的挑战。
• 通过仅依赖矩条件（$k$-means 为 $p \geq 4$，混合模型为 $p \geq 8$）将一致性结果扩展至重尾分布。
• 开发一种通用机制——外部 bracket，以统一控制无界参数集上的偏差。
• 在存在聚类结构时，对 $k$-means 的速率进行优化，优于一般界。

提出的方法

• 引入“外部 bracket”——一种通过矩假设控制重尾分布尾部偏差的技巧，利用单个球体控制远离点的贡献。
• 使用控制收敛定理证明，单个球体 $B_i$ 可控制所有位于有界距离内的中心的偏差，从而将问题简化为局部与外部偏差控制。
• 应用类似切比雪夫的不等式控制紧集内的局部偏差，同时利用基于矩的界控制尾部（外部）偏差。
• 在参数空间上构造一个网 $\mathcal{N}$ 以离散化问题，其大小通过覆盖论证和半径的矩界进行控制。
• 通过控制协方差矩阵的谱范数并利用基于矩的集中性，推导出高斯混合模型对数似然偏差的界。
• 将网覆盖与高概率偏差界结合，推导出所有满足代价阈值 $c$ 的参数配置的统一收敛速率。

实验结果

研究问题

• RQ1 当底层分布仅有 $p \geq 4$ 阶矩时，如何为 $k$-means 建立统一偏差界，而无需有界性或次高斯性？
• RQ2 能否在矩假设下，为高斯混合模型的对数似然建立统一偏差界，特别是当协方差矩阵谱范数有界时？
• RQ3 在弱矩条件下，$k$-means 和软 $k$-means 的样本代价向总体代价收敛的速率是多少？
• RQ4 如何仅通过矩假设，在无界参数集和代价函数上维持偏差控制？
• RQ5 当数据表现出潜在聚类结构时，能否改进偏差速率？

主要发现

• 对于具有 $p \geq 4$ 阶矩的 $k$-means，样本代价与总体代价之间的统一偏差以 $\mathcal{O}(m^{\min\{-1/4, -1/2 + 2/p\}})$ 速率衰减。
• 对于具有 $p \geq 8$ 阶矩且协方差矩阵谱范数有界的高斯混合模型，偏差速率为 $\mathcal{O}(m^{-1/2 + 3/p})$。
• 外部 bracket 技术通过利用矩条件控制尾部贡献，实现了对无界参数集的统一偏差控制。
• 该方法适用于类似 Lloyd 算法的启发式方法，只要输出代价不低于某个固定值 $c$，即可对非最优解保持鲁棒性。
• 当存在聚类结构时，为 $k$-means 推导出更优的速率，优于一般界。
• 分析表明，仅需矩条件（$p \geq 4$）即可处理有界性或次高斯性不成立的重尾分布。