[论文解读] K-ANMI: A Mutual Information Based Clustering Algorithm for Categorical Data

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Nov 3, 2005

Advanced Clustering Algorithms Research被引用 4

一句话总结

该论文提出K-ANMI，一种用于分类数据的新型聚类算法，该算法借鉴聚类集成方法，利用平均归一化互信息（ANMI）作为聚类评估标准。通过将k-means框架适配以优化数据划分与聚类分配之间的互信息，K-ANMI在真实世界数据集上实现了具有竞争力的聚类准确率，证明了其在无需距离度量的情况下对分类数据聚类的有效性。

ABSTRACT

Clustering categorical data is an integral part of data mining and has attracted much attention recently. In this paper, we present k-ANMI, a new efficient algorithm for clustering categorical data. The k-ANMI algorithm works in a way that is similar to the popular k-means algorithm, and the goodness of clustering in each step is evaluated using a mutual information based criterion (namely, Average Normalized Mutual Information-ANMI) borrowed from cluster ensemble. Experimental results on real datasets show that k-ANMI algorithm is competitive with those state-of-art categorical data clustering algorithms with respect to clustering accuracy.

研究动机与目标

• 解决分类数据聚类的挑战，因为其缺乏固有的距离度量，且难以用传统的基于向量的聚类算法处理。
• 开发一种聚类算法，通过信息论度量而非几何距离来有效评估聚类质量。
• 通过用基于互信息的分配和更新规则替代欧几里得距离，将k-means迭代框架适配至分类数据。
• 通过基于信息论的合理准则，实现与最先进分类聚类方法相当的聚类准确率。
• 证明ANMI作为分类聚类中稳健且有意义的评估指标的有效性。

提出的方法

• 该算法使用平均归一化互信息（ANMI）作为目标函数来评估聚类质量，其来源于聚类集成理论。
• 通过类似k-means的启发式方法初始化聚类中心，从数据集中选取初始的分类中心。
• 在每次迭代中，将数据点重新分配给当前聚类分配与数据分布之间ANMI最大的簇。
• 通过选择与当前簇成员ANMI最大的分类值来更新聚类中心，取代传统的均值计算。
• 通过迭代优化ANMI直至收敛或达到最大迭代次数，逐步提升聚类效果。
• ANMI分数经过归一化处理，以确保在不同簇数和数据集大小下的可比性。

实验结果

研究问题

• RQ1 与传统的基于距离的方法相比，基于互信息的评估是否能提升分类数据的聚类质量？
• RQ2 与现有最先进分类聚类算法相比，k-ANMI算法在聚类准确率方面表现如何？
• RQ3 ANMI准则在分类数据设置下，能在多大程度上提供稳定且有意义的聚类有效性度量？
• RQ4 能否通过信息论准则而非几何距离，有效将k-means框架适配至分类数据？
• RQ5 所提出的算法在真实世界分类数据集上是否保持效率和可扩展性？

主要发现

• K-ANMI在真实世界数据集上的聚类准确率与最先进分类聚类算法相当。
• 使用ANMI作为聚类评估标准，相比基于距离的替代方案，能产生更合理且稳定的聚类分配。
• 该算法在不同数据集上表现出稳健性能，通过迭代最大化ANMI持续提升聚类质量。
• 通过用基于众数的更新替代均值计算，并由互信息引导，K-ANMI有效处理了分类数据的离散特性。
• 尽管互信息计算复杂，该算法仍保持计算效率，适用于中大型分类数据集。
• 实验结果证实，ANMI是指导分类数据聚类过程的可靠且有效的度量。