[论文解读] Computational Feasibility of Clustering under Clusterability Assumptions

Shai Ben-David|arXiv (Cornell University)|Jan 2, 2015

Data Management and Algorithms参考文献 16被引用 19

一句话总结

本文批判性地评估了在各种可聚类性假设下聚类是否具有计算可行性，综述了扰动鲁棒性和稳定性等概念。研究结论认为，'聚类仅在不重要时才困难'（CDNM）论点缺乏形式化支持，因为当前的可聚类性定义无法一致地为k-means和k-median等常见目标实现多项式时间最优聚类。

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such 'clusterable' instances. In other words, hope that "Clustering is difficult only when it does not matter" (CDNM thesis, for short). We believe that to some extent this may indeed be the case. This paper provides a survey of recent papers along this line of research and a critical evaluation their results. Our bottom line conclusion is that that CDNM thesis is still far from being formally substantiated. We start by discussing which requirements should be met in order to provide formal support the validity of the CDNM thesis. In particular, we list some implied requirements for notions of clusterability. We then examine existing results in view of those requirements and outline some research challenges and open questions.

研究动机与目标

• 评估可聚类性假设是否能为聚类算法的实际效率提供形式化依据。
• 识别支持CDNM论点（聚类仅在不重要时才困难）的可聚类性概念所需的标准。
• 根据这些标准，评估现有可聚类性定义（如扰动鲁棒性、稳定性、分离性等）。
• 揭示理论支持在现实、结构化数据聚类方面的缺口。
• 识别将可聚类性与k-means和k-median目标的高效优化相联系的开放问题。

提出的方法

• 调研并分析10余种形式化的可聚类性概念，包括加法/乘法扰动鲁棒性、(α,ε)-弹性性以及最优解的唯一性。
• 针对一组必要属性（现实性、计算可处理性、与实际聚类的一致性）评估每种可聚类性概念。
• 研究可聚类性与k-means和k-median目标优化之间的关系。
• 评估在这些假设下聚类算法是否能保证最优或近似最优解。
• 研究基于链接的层次聚类方法，以确定其在树剪枝过程中是否能保持良好的聚类结构。
• 分析在可聚类性假设下近似算法的表现，以判断其何时能获得精确解而非近似解。

实验结果

研究问题

• RQ1 在何种可聚类性假设下，k-means或k-median聚类可在多项式时间内求解？
• RQ2 现有可聚类性概念在多大程度上能确保‘良好’聚类也是标准目标的最优解？
• RQ3 基于链接的层次聚类算法在何种可聚类性条件下能保证将最优聚类作为剪枝结果保留？
• RQ4 在欧氏空间中，哪些参数值下如α-中心稳定性等可聚类性条件会导致NP难问题？
• RQ5 在何种可聚类性条件下，标准近似算法（如LP松弛）能获得精确最优解？

主要发现

• CDNM论点——即聚类仅在不重要时才困难——仍未被证明，因为当前任何可聚类性概念均无法形式化保证k-means或k-median的多项式时间最优性。
• 在所有可聚类性概念中，仅α-中心稳定性具有有意义的NP难下界，且这些下界甚至不适用于欧氏空间。
• 尚无已知的可聚类性条件能确保‘良好’聚类同时也是k-means或k-median的最优解，也未保证此类解的唯一性。
• 基于链接的层次聚类仅在特定假设（如(1+√2)-中心稳定性）下能保持最优聚类，而无法普遍适用于其他概念。
• 现有近似算法在可聚类性假设下无法获得精确解，除非假设条件极为强烈，且不存在普遍保证。
• 尽管在实际中具有重要性，但针对灵活聚类（即聚类数和目标未固定）的理论支持仍然不足。