[论文解读] A Uniqueness Theorem for Clustering

Reza Bosagh Zadeh, Shai Ben-David|arXiv (Cornell University)|May 9, 2012

Advanced Clustering Algorithms Research参考文献 6被引用 85

一句话总结

本文提出了一套新颖的聚类公理化框架，通过放松Kleinberg的一个公理以避免其不可能性结果，从而实现一致的公理集合。该框架建立了一个唯一性定理，识别出单链接聚类（Single-Linkage clustering）是唯一满足特定抽象性质的函数，为该方法的使用提供了理论依据，并为聚类范式分类体系奠定了基础。

ABSTRACT

Despite the widespread use of Clustering, there is distressingly little general theory of clustering available. Questions like "What distinguishes a clustering of data from other data partitioning?", "Are there any principles governing all clustering paradigms?", "How should a user choose an appropriate clustering algorithm for a particular task?", etc. are almost completely unanswered by the existing body of clustering literature. We consider an axiomatic approach to the theory of Clustering. We adopt the framework of Kleinberg, [Kle03]. By relaxing one of Kleinberg's clustering axioms, we sidestep his impossibility result and arrive at a consistent set of axioms. We suggest to extend these axioms, aiming to provide an axiomatic taxonomy of clustering paradigms. Such a taxonomy should provide users some guidance concerning the choice of the appropriate clustering paradigm for a given task. The main result of this paper is a set of abstract properties that characterize the Single-Linkage clustering function. This characterization result provides new insight into the properties of desired data groupings that make Single-Linkage the appropriate choice. We conclude by considering a taxonomy of clustering functions based on abstract properties that each satisfies.

研究动机与目标

• 解决尽管聚类被广泛应用，但缺乏一般性理论基础的问题。
• 通过放松Kleinberg公理中的一个，以解决其不可能性结果，从而建立一致的公理化系统。
• 基于区分不同聚类范式的抽象性质，构建聚类函数的分类体系。
• 通过一组抽象的、理想的性质刻画单链接聚类，为其在特定场景中的使用提供理论依据。
• 为用户根据数据特征和期望的分组行为选择合适的聚类算法，提供系统性的指导。

提出的方法

• 采用Kleinberg的公理化框架，但放松其‘尺度不变性’公理，以避免不可能性结果。
• 定义一组新公理，包含一致性、丰富性以及一种修改后的不变性性质，以确保系统的一致性。
• 识别出唯一满足所有所提公理的聚类函数——单链接聚类。
• 利用抽象的数学性质刻画聚类函数的行为，重点聚焦于连通性和链接规则。
• 建立形式化证明，表明在放松后的框架下，仅单链接聚类函数满足全部公理集合。
• 基于每个聚类函数满足的抽象性质，提出聚类函数的分类体系。

实验结果

研究问题

• RQ1 哪些抽象性质能唯一刻画单链接聚类函数？
• RQ2 如何在避免Kleinberg不可能性结果的前提下，构建一个一致的聚类公理化框架？
• RQ3 哪些聚类范式满足哪些抽象性质集合，这如何指导算法选择？
• RQ4 在理论上，聚类与任意数据划分之间有何本质区别？
• RQ5 能否基于共享的抽象性质，构建一个统一的聚类函数分类体系？

主要发现

• 单链接聚类是唯一满足所提公理集合（包括一致性、丰富性和一种放松后的不变性条件）的聚类函数。
• 对Kleinberg的尺度不变性公理的放松，使得在存在唯一聚类函数的前提下，能够建立一致的公理化框架。
• 该公理化刻画为在强调连通性和层次化分组的场景中使用单链接聚类提供了理论依据。
• 该框架支持基于各函数满足的抽象性质，构建聚类函数的分类体系。
• 研究结果为根据期望的数据分组行为选择聚类算法，提供了系统性依据。
• 唯一性定理表明，在放松后的框架下，单链接聚类是唯一满足全部所提公理的函数。