[论文解读] Improved Spectral-Norm Bounds for Clustering

Pranjal Awasthi, Or Sheffet|arXiv (Cornell University)|Jun 14, 2012

Bayesian Methods and Mixture Models参考文献 25被引用 23

一句话总结

该论文通过将中心分离要求减弱√k倍、邻近条件减弱k倍，在保持强聚类保证的前提下，改进了基于谱范数的聚类界。通过仅使用三角不等式和马尔可夫不等式，简化了分析过程，即使仅(1−ε)比例的点满足邻近条件，也能实现近似最优性能。

ABSTRACT

Aiming to unify known results about clustering mixtures of distributions under separation conditions, Kumar and Kannan[2010] introduced a deterministic condition for clustering datasets. They showed that this single deterministic condition encompasses many previously studied clustering assumptions. More specifically, their proximity condition requires that in the target $k$-clustering, the projection of a point $x$ onto the line joining its cluster center $μ$ and some other center $μ'$, is a large additive factor closer to $μ$ than to $μ'$. This additive factor can be roughly described as $k$ times the spectral norm of the matrix representing the differences between the given (known) dataset and the means of the (unknown) target clustering. Clearly, the proximity condition implies center separation -- the distance between any two centers must be as large as the above mentioned bound. In this paper we improve upon the work of Kumar and Kannan along several axes. First, we weaken the center separation bound by a factor of $\sqrt{k}$, and secondly we weaken the proximity condition by a factor of $k$. Using these weaker bounds we still achieve the same guarantees when all points satisfy the proximity condition. We also achieve better guarantees when only $(1-ε)$-fraction of the points satisfy the weaker proximity condition. The bulk of our analysis relies only on center separation under which one can produce a clustering which (i) has low error, (ii) has low $k$-means cost, and (iii) has centers very close to the target centers. Our improved separation condition allows us to match the results of the Planted Partition Model of McSherry[2001], improve upon the results of Ostrovsky et al[2006], and improve separation results for mixture of Gaussian models in a particular setting.

研究动机与目标

• 统一并改进先前的确定性聚类条件，特别是Kumar和Kannan（2010）的工作，通过将所需的分离和邻近条件减弱。
• 通过仅依赖基本不等式（三角不等式和马尔可夫不等式）而非复杂迭代过程，简化聚类算法的分析。
• 当仅(1−ε)比例的点满足邻近条件时，实现更好的聚类保证，尤其在k随n增长时表现更优。
• 在更弱假设下，使改进后的界与已知模型（包括随机划分模型和高斯混合模型）的界相匹配或超越。

提出的方法

• 引入一种修正后的中心分离条件，其尺度为O(√k)而非O(k)，从而降低聚类中心之间的最小距离要求。
• 重新表述邻近条件，使其对k仅线性依赖，而非二次依赖，从而在部分满足条件下实现更强的保证。
• 在核心分析中仅使用三角不等式和马尔可夫不等式，避免Kumar-Kannan算法中复杂的迭代优化步骤。
• 对矩阵A−C应用谱范数分析，其中A为数据矩阵，C为目标中心矩阵，以界定向聚类性能的偏差。
• 证明在新分离条件下，在随机划分模型中几乎所有点以高概率为√k-良好点，与McSherry的界完全一致。
• 证明当仅(1−ε)比例的点满足邻近条件时，算法可正确聚类除(ε + O(1/c⁴))比例点之外的所有点，优于先前工作的O(k²ε)。

实验结果

研究问题

• RQ1 在Kumar和Kannan的框架中，是否可将中心分离条件减弱√k倍而不损失聚类保证？
• RQ2 是否可将邻近条件放宽k倍，同时仍能确保除少量常数比例点外的所有点被正确聚类？
• RQ3 是否可能仅通过基本不等式（如三角不等式和马尔可夫不等式）实现强聚类性能，而非依赖复杂的迭代优化？
• RQ4 在更弱假设下，改进后的界是否可与随机划分模型和高斯混合模型的已知界相匹配或超越？
• RQ5 是否可使分离条件局部化，仅依赖于单个聚类结构，而非全局谱范数？

主要发现

• 与Kumar和Kannan相比，论文将中心分离界改进了√k倍，使得在显著更弱的几何假设下仍可实现聚类。
• 邻近条件被减弱k倍，使算法即使仅(1−ε)比例的点满足该条件时仍能成功。
• 当仅(1−ε)比例的点满足邻近条件时，算法可正确聚类除(ε + O(1/c⁴))比例点之外的所有点，相比[KK10]中的O(k²ε)有显著改进。
• 分析过程大大简化：仅使用三角不等式和马尔可夫不等式，无需多次Lloyd迭代或复杂的集中度论证。
• 改进后的界与McSherry（2001）在随机划分模型中的结果完全一致，解决了先前工作中的一个缺口。
• 该框架具有足够的通用性，可在特定分离设定下改进高斯混合模型的结果，尤其在k随n增长时表现更优。