[论文解读] Clustering is Easy When ....What?

Shai Ben-David|arXiv (Cornell University)|Oct 19, 2015

Data Management and Algorithms参考文献 15被引用 5

一句话总结

本文批判性地审视了'聚类仅在不重要时才困难'（CDNM）论点，评估现有聚类可分性概念是否能在实际相关的数据上支持高效的聚类算法。研究发现，尽管某些聚类可分性条件（如加法扰动鲁棒性）可实现多项式时间最优解，但其参数要求过于严苛——这使得当前理论尚不足以支持CDNM论点在一般聚类任务中的成立。

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such "clusterable" instances. This paper addresses the thesis that the computational hardness of clustering tasks goes away for inputs that one really cares about. In other words, that "Clustering is difficult only when it does not matter" (the \emph{CDNM thesis} for short). I wish to present a a critical bird's eye overview of the results published on this issue so far and to call attention to the gap between available and desirable results on this issue. A longer, more detailed version of this note is available as arXiv:1507.05307. I discuss which requirements should be met in order to provide formal support to the the CDNM thesis and then examine existing results in view of these requirements and list some significant unsolved research challenges in that direction.

研究动机与目标

• 评估理论上的聚类可分性条件是否能为真实世界数据上聚类算法的实证效率提供依据。
• 识别现有理论结果与CDNM论点之间的差距，后者声称聚类仅在不重要时才困难。
• 评估所提出的聚类可分性概念是否能为现实数据支持高效且可证明正确的聚类算法。
• 指出当前理论框架中的不足，这些不足阻碍了对CDNM论点的正式支持。
• 倡导将聚类重新理解为一种计算问题，超越固定k值、固定目标函数的公式化方式。

提出的方法

• 分析多种形式化的聚类可分性概念（如加法扰动鲁棒性、中心稳定性、分离条件）及其对算法的影响。
• 评估这些聚类可分性条件是否能支持找到最优或近似最优聚类的多项式时间算法。
• 评估聚类可分性概念的四个关键要求：实际相关性、算法效率、可测试性，以及与标准聚类算法的兼容性。
• 回顾在各种聚类可分性假设下对k-means和k-median聚类的现有结果。
• 将理论保证与实际聚类行为进行比较，尤其关注聚类数k的作用。
• 提出视角转变：将聚类任务重新定义为超越固定k值和固定目标函数优化的形式，以更好地反映现实世界的应用。

实验结果

研究问题

• RQ1 当前的聚类可分性概念在多大程度上能支持对实际有意义数据的高效聚类算法？
• RQ2 尽管假设具有前景，为何现有理论结果仍无法支持CDNM论点？
• RQ3 当前聚类可分性定义在捕捉现实世界数据结构方面存在哪些局限性？
• RQ4 我们能否识别出对k-means和k-median算法既在实际中合理又计算上可行的聚类可分性条件？
• RQ5 如何重新表述聚类问题的公式，以更好地反映灵活的、以应用为导向的聚类任务？

主要发现

• 只要非零鲁棒性参数存在，加法扰动鲁棒性即可实现多项式时间最优聚类，但前提是假设条件过于强烈。
• 目前提出的任何聚类可分性条件都无法在聚类数k上实现多项式时间最优聚类，除非参数被设定为仅适用于极好聚类的数据。
• 关于中心稳定性的理论结果几乎与已知可行性阈值一致，表明当前边界可能已趋紧，难以进一步改进。
• 现有聚类可分性概念过于受限，无法支持CDNM论点，因为它们要求数据的结构远强于典型实际数据。
• 理论保证与实际聚类成功之间的不匹配表明，当前理论框架可能未能准确建模现实世界的聚类任务。
• 本文认为，将聚类标准公式化为固定k值、固定目标函数的优化问题，可能不足以捕捉现实应用中的灵活性。