[论文解读] Understanding partition comparison indices based on counting object pairs

Matthijs J. Warrens, Hanneke van der Hoef|arXiv (Cornell University)|Jan 7, 2019

Reliability and Agreement in Measurement参考文献 58被引用 7

一句话总结

本文基于成对计数分析聚类比较指数，表明总体指数（如兰德指数和调整兰德指数）是基于聚类大小加权的聚类级别一致度度量的加权平均，其权重取决于聚类大小。关键发现是，这些指数对聚类大小失衡极为敏感，主要反映在大聚类上的一致性，而对小聚类的信息极少；而兰德类指数则主要受在任一划分中均未合并的成对对象影响，导致其值始终较高。

ABSTRACT

In unsupervised machine learning, agreement between partitions is commonly assessed with so-called external validity indices. Researchers tend to use and report indices that quantify agreement between two partitions for all clusters simultaneously. Commonly used examples are the Rand index and the adjusted Rand index. Since these overall measures give a general notion of what is going on, their values are usually hard to interpret. Three families of indices based on counting object pairs are analyzed. It is shown that the overall indices can be decomposed into indices that reflect the degree of agreement on the level of individual clusters. The overall indices based on the pair-counting approach are sensitive to cluster size imbalance: they tend to reflect the degree of agreement on the large clusters and provide little to no information on smaller clusters. Furthermore, the value of Rand-like indices is determined to a large extent by the number of pairs of objects that are not joined in either of the partitions.

研究动机与目标

• 理解为何尽管广泛使用，总体聚类比较指数（如兰德指数）仍难以解释。
• 将总体成对计数指数分解为聚类级别的组成部分，以揭示其潜在结构与加权方式。
• 研究聚类大小失衡如何影响这些指数的解释性与可靠性。
• 阐明为何兰德类指数往往产生高分值（例如介于0.7至1.0之间），以及其值由何驱动。
• 识别哪些指数对小聚类敏感，哪些不敏感，从而为聚类验证中的方法选择提供依据。

提出的方法

• 本文将总体指数分解为基于聚类特定一致度指数的加权平均，其中权重为聚类大小的二次函数。
• 分析三类成对计数指数：基于华莱士指数的、结合华莱士指数与未合并对指数的，以及经机会调整的（如调整兰德指数）。
• 通过正式分解指数，反映在两个划分中均被合并或均被分离的成对对象上的一致性。
• 该方法量化了不同类型对象对（尤其是未合并对）对总体指数值的影响。
• 将分解方法应用于人工数据与真实世界数据示例，以说明在聚类大小失衡下指数的行为特征。
• 通过相对权重（如P/N、(N−P)/N）比较大聚类与小聚类对总体指数值的相对贡献。

实验结果

研究问题

• RQ1 基于成对计数的总体聚类比较指数在多大程度上反映了个体聚类级别的共识？
• RQ2 为何兰德指数与调整兰德指数等指数往往产生高分值（通常介于0.7至1.0之间）？
• RQ3 成对计数指数的值在多大程度上由在任一划分中均未合并的对象对数量决定？
• RQ4 聚类大小失衡在多大程度上影响这些指数对小聚类与大聚类一致性的敏感度？
• RQ5 哪些类型的指数在聚类验证中对评估小聚类恢复情况最具信息量？

主要发现

• 总体成对计数指数（如兰德指数与调整兰德指数）是聚类级别一致度指数的加权平均，权重与聚类大小的平方成正比。
• 基于华莱士指数的指数（如Jaccard指数、Fowlkes-Mallows指数）对聚类大小失衡极为敏感，主要反映大聚类上的一致性，对小聚类提供的信息极少。
• 兰德类指数主要受在任一划分中均未合并的对象对数量影响，这解释了其倾向于产生高分值（通常介于0.7至1.0之间）的原因。
• 在所有分析示例中，未合并对的相对权重（如(N−P)/N）远大于已合并对的权重（P/N），证实未合并对主导了指数值。
• 分解结果表明，聚类大小失衡引入了系统性偏差：即使小聚类恢复效果差，大聚类仍对总体指数值产生不成比例的贡献。
• 本研究证实，信息论指数同样对聚类大小失衡敏感，尽管其作用机制比成对计数指数更复杂。