[论文解读] Clustering is difficult only when it does not matter

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|May 22, 2012

Data Management and Algorithms参考文献 6被引用 21

一句话总结

本文挑战了聚类本质上困难的普遍信念，认为计算困难仅出现在聚类无意义的情况下。它提出了一种基于度量空间中稳定且良好分离聚类的理论框架——通过(α,γ)-聚类条件定义——并证明此类良好聚类数据可使用一种新算法高效划分，从而解决了理论困难与实际可行性之间的悖论。

ABSTRACT

Numerous papers ask how difficult it is to cluster data. We suggest that the more relevant and interesting question is how difficult it is to cluster data sets {\em that can be clustered well}. More generally, despite the ubiquity and the great importance of clustering, we still do not have a satisfactory mathematical theory of clustering. In order to properly understand clustering, it is clearly necessary to develop a solid theoretical basis for the area. For example, from the perspective of computational complexity theory the clustering problem seems very hard. Numerous papers introduce various criteria and numerical measures to quantify the quality of a given clustering. The resulting conclusions are pessimistic, since it is computationally difficult to find an optimal clustering of a given data set, if we go by any of these popular criteria. In contrast, the practitioners' perspective is much more optimistic. Our explanation for this disparity of opinions is that complexity theory concentrates on the worst case, whereas in reality we only care for data sets that can be clustered well. We introduce a theoretical framework of clustering in metric spaces that revolves around a notion of "good clustering". We show that if a good clustering exists, then in many cases it can be efficiently found. Our conclusion is that contrary to popular belief, clustering should not be considered a hard task.

研究动机与目标

• 解决聚类在理论上困难但实践中可行的长期悖论。
• 建立一个严谨的数学聚类框架，聚焦于‘良好’聚类而非最坏情况实例。
• 识别聚类在计算上变得可行的条件，特别是在度量空间中。
• 通过稳定性与分离参数(α, γ)的形式化定义‘良好’聚类的概念，确保对小扰动具有鲁棒性。
• 通过聚焦于有意义且稳定的结构，弥合理论复杂性与实际聚类成功之间的差距。

提出的方法

• 引入(α,γ)-聚类条件：对于聚类Ci中的每个点x，其到Ci的距离至多为到任意其他聚类Cj（j≠i）距离的γ倍，其中α控制聚类大小。
• 提出一种多项式时间算法，通过基于代表点的Voronoi类似构造，高效地将度量空间划分为(α,γ)-聚类。
• 采用一种代表点选择策略，确保每个聚类可由Oγ(log n)个点良好近似，从而通过Voronoi图实现高效聚类。
• 利用稳定性分析表明，(α,γ)-聚类具有鲁棒性：对度量的微小扰动可保持聚类结构不变。
• 将该框架应用于MAXCUT问题，证明所有(1+ε)-稳定的METRIC-MAXCUT实例可在多项式时间内求解。
• 利用度量空间的结构特性，将聚类问题简化为寻找良好分离的代表点集。

实验结果

研究问题

• RQ1 在标准准则下聚类为NP难的情况下，其计算可行性在何种条件下仍可实现？
• RQ2 能否为存在‘良好’聚类的数据设计一种理论严谨且高效的聚类算法？
• RQ3 聚类的稳定性（例如在小度量扰动下）与其计算可解性之间有何关系？
• RQ4 重建一个稳定(α,γ)-聚类所需的最少代表点数量是多少？
• RQ5 分离因子γ(n)最大可取多大，使得每个n点度量空间均存在γ(n)-分离的2-划分？

主要发现

• 本文证明，若度量空间中存在良好的(α,γ)-聚类，则可使用多项式时间算法高效计算，这与聚类本质困难的普遍信念相矛盾。
• 该算法的时间复杂度在n上为多项式，且仅依赖于γ，而不依赖于α，表明聚类质量（通过α衡量）不会增加计算成本。
• 研究表明，(3+ε)-聚类等价于度量空间中的球体，为良好分离聚类提供了几何表征。
• 该框架表明，(α,γ)-聚类具有稳定性：对度量的微小扰动仅使γ略有变化，聚类结构保持不变。
• 对于任意ε>0，本文建立了一种多项式时间算法，可求解所有(1+ε)-稳定的METRIC-MAXCUT实例，这是一个典型的聚类问题。
• 本文未解决的问题是：每个聚类的Oγ(log n)个代表点是否可减少至Oγ(1)，这将导致一种确定性且与α无关的算法。