[论文解读] Adjusting the adjusted Rand Index -- A multinomial story

Martina Sundqvist, Julien Chiquet+1 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Clustering Algorithms Research参考文献 11被引用 5

一句话总结

本文提出了一种基于多项分布模型的修正调整兰德指数（MARI），以解决传统调整兰德指数（ARI）依赖超几何分布所导致的统计缺陷。通过重新定义指数，仅关注由相似性一致的配对，并在更现实的多项分布模型下进行调整，作者表明MARI消除了ARI在小样本量下存在的偏差，提供了一种更具可解释性、灵活性和统计稳健性的替代方法，且能随数据规模高效扩展。

ABSTRACT

The Adjusted Rand Index ($ARI$) is arguably one of the most popular measures for cluster comparison. The adjustment of the $ARI$ is based on a hypergeometric distribution assumption which is unsatisfying from a modeling perspective as (i) it is not appropriate when the two clusterings are dependent, (ii) it forces the size of the clusters, and (iii) it ignores randomness of the sampling. In this work, we present a new "modified" version of the Rand Index. First, we redefine the $MRI$ by only counting the pairs consistent by similarity and ignoring the pairs consistent by difference, increasing the interpretability of the score. Second, we base the adjusted version, $MARI$, on a multinomial distribution instead of a hypergeometric distribution. The multinomial model is advantageous as it does not force the size of the clusters, properly models randomness, and is easily extended to the dependant case. We show that the $ARI$ is biased under the multinomial model and that the difference between the $ARI$ and $MARI$ can be large for small $n$ but essentially vanish for large $n$, where $n$ is the number of individuals. Finally, we provide an efficient algorithm to compute all these quantities ($(A)RI$ and $M(A)RI$) by relying on a sparse representation of the contingency table in our exttt{aricode} package. The space and time complexity is linear in the number of samples and importantly does not depend on the number of clusters as we do not explicitly compute the contingency table.

研究动机与目标

• 解决依赖于超几何分布（强制固定聚类大小并忽略抽样随机性）的调整兰德指数（ARI）的统计局限性。
• 通过仅关注由相似性一致的配对（排除因差异一致的配对），开发一种更具可解释性的聚类比较度量。
• 提出一种基于多项分布模型的新调整兰德指数（MARI），自然地容纳依赖聚类，避免超几何模型的强假设。
• 证明在多项分布模型下，ARI存在偏差，尤其在小样本量时，且该偏差随n增大而减小。
• 通过稀疏列联表表示，实现O(n)时间与空间复杂度的ARI与MARI计算算法，并在aricode R包中实现。

提出的方法

• 重新设计兰德指数，仅统计由相似性一致的配对（即同属一簇或分属不同簇），舍弃因差异一致的配对，以提升可解释性。
• 推导在聚类分配的多项分布模型下兰德指数的期望值，该模型不固定聚类大小，能正确建模抽样随机性。
• 通过减去多项分布模型下的期望值，对ARI的偏差进行校正，从而得出新的MARI估计量。
• 使用列联表的稀疏表示，以O(n)时间与空间复杂度计算所有指标（ARI、MARI），且与聚类数量无关。
• 将ARI在多项分布模型下的偏差表述为真实列联表概率的函数，表明其为O(1/n)，并随样本量趋于无穷而消失。
• 通过三种不同依赖情景（非比例对角线、含非对角线的比例对角线、一个非比例行/列）的模拟验证方法，变化K与n。

实验结果

研究问题

• RQ1 在聚类分配的多项分布模型下，传统ARI的偏差行为如何，特别是在小样本量时？
• RQ2 当聚类大小不固定且存在抽样随机性时，ARI在多大程度上高估或低估了聚类之间的实际相似性？
• RQ3 基于多项分布模型的新调整兰德指数（MARI）是否能消除ARI中固有的偏差，同时保持计算效率？
• RQ4 当仅考虑由相似性一致的配对时，兰德指数的可解释性如何提升？
• RQ5 与ARI相比，MARI的计算复杂度如何？是否可在不显式构建完整列联表的情况下实现？

主要发现

• 在多项分布模型下，ARI存在偏差，偏差上界为8/n，且为O(1/n)，当n → ∞时趋于零。
• 对于小样本量（例如n < 64），ARI的偏差可能相当显著，绝对值可达0.04，导致误导性结论。
• ARI与MARI之间的差异在小样本量时显著，但随着样本量增加而迅速减小，当n > 200时可忽略不计。
• MARI计算高效，时间与空间复杂度均为O(n)，通过稀疏列联表表示实现，避免了显式O(KL)计算。
• MARI更具统计稳健性，因其不假设固定聚类大小，能正确建模抽样随机性，并自然推广至依赖聚类。
• 在三种情景（非比例对角线、含非对角线的比例对角线、一个非比例行/列）下的模拟结果表明，大多数K与n下偏差保持适中，但在小样本、高不平衡设置下最为显著。