[论文解读] Categorization Axioms for Clustering Results

Yu Jian, Zongben Xu|arXiv (Cornell University)|Mar 9, 2014

Advanced Clustering Algorithms Research参考文献 40被引用 3

一句话总结

本文提出了一套基于分类原则的聚类结果形式化公理框架，引入了分离公理，将聚类结果分类为恰当、重叠或不恰当。该框架确立了聚类算法与有效性指数的三项设计原则——分类等价性、紧凑性与分离性，证明其与主流算法和指数（如Xie-Beni和CVNN）具有一致性。

ABSTRACT

Cluster analysis has attracted more and more attention in the field of machine learning and data mining. Numerous clustering algorithms have been proposed and are being developed due to diverse theories and various requirements of emerging applications. Therefore, it is very worth establishing an unified axiomatic framework for data clustering. In the literature, it is an open problem and has been proved very challenging. In this paper, clustering results are axiomatized by assuming that an proper clustering result should satisfy categorization axioms. The proposed axioms not only introduce classification of clustering results and inequalities of clustering results, but also are consistent with prototype theory and exemplar theory of categorization models in cognitive science. Moreover, the proposed axioms lead to three principles of designing clustering algorithm and cluster validity index, which follow many popular clustering algorithms and cluster validity indices.

研究动机与目标

• 建立统一的聚类结果公理化框架，解决数据分析中聚类形式化长期存在的挑战。
• 通过形式化分类公理，定义何为恰当的聚类结果，以排除平凡或退化的结果。
• 通过将公理与原型和实例理论的分类认知科学理论对齐，弥合聚类理论与认知科学之间的鸿沟。
• 基于理论公理，推导出设计聚类算法与聚类有效性指数的一般性原则。
• 证明广泛使用的聚类方法与有效性指数本质上满足或与所提出的公理一致。

提出的方法

• 提出三项核心公理：分类等价性、样本分离性与聚类分离性，形式化聚类结果的结构。
• 定义不恰当的聚类结果，如重合、完全重合及无信息分区，以排除退化解。
• 从样本分离公理推导不等式，以量化聚类结构的有效性。
• 提出三项算法设计原则：分类等价性、聚类紧凑性与聚类分离性，基于公理建立。
• 将公理应用于分析和证明现有聚类算法与有效性指数（如模糊C均值与Xie-Beni指数）的合理性。
• 运用认知科学理论（原型与实例理论）验证所提公理的理论一致性。

实验结果

研究问题

• RQ1 哪些形式化公理能够表征恰当的聚类结果，同时排除平凡或退化的结果？
• RQ2 如何基于结构属性将聚类结果系统性地分类为恰当、重叠或不恰当？
• RQ3 现有聚类算法与有效性指数在多大程度上满足所提出的公理与原则？
• RQ4 公理能否用于推导设计新聚类算法与有效性指数的一般性原则？
• RQ5 所提出的公理与心理学及认知科学中的认知分类理论有何关联？

主要发现

• 所提出的分类公理成功地将聚类结果分类为恰当、重叠与不恰当三类，其中不恰当结果包括重合与无信息分区。
• 样本分离公理导出形式不等式，用于量化聚类结果的结构有效性。
• Xie-Beni指数被证明本质上与所提出的聚类分离性与紧凑性原则一致，因其分母对重合聚类施加惩罚。
• 许多流行的聚类算法（包括模糊C均值与基于模型的聚类）隐含地满足所提出的紧凑性与分离性原则。
• 聚类有效性指数CVNN被发现与所提原则一致，通过联合优化紧凑性与分离性实现。
• 公理化框架为设计避免退化解的新聚类算法与有效性指数提供了理论基础。