[论文解读] Clustering based on the In-tree Graph Structure and Affinity Propagation

Teng Qiu, Yongjie Li|arXiv (Cornell University)|Jan 18, 2015

Advanced Clustering Algorithms Research参考文献 2被引用 6

一句话总结

本文提出了一种新颖的聚类方法，通过将近邻下降（ND）算法的树内图结构与关联传播（AP）相结合，自动去除虚假边。在应用AP之前，通过在树内可达节点之间添加边，增强结构连通性，从而在合成数据集和真实世界数据集上均提升了聚类准确率与鲁棒性，性能优于基线方法。

ABSTRACT

A recently proposed clustering method, called the Nearest Descent (ND), can organize the whole dataset into a sparsely connected graph, called the In-tree. This ND-based Intree structure proves able to reveal the clustering structure underlying the dataset, except one imperfect place, that is, there are some undesired edges in this In-tree which require to be removed. Here, we propose an effective way to automatically remove the undesired edges in In-tree via an effective combination of the In-tree structure with affinity propagation (AP). The key for the combination is to add edges between the reachable nodes in In-tree before using AP to remove the undesired edges. The experiments on both synthetic and real datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决近邻下降（ND）方法的局限性，该方法在树内图中产生不希望的边，掩盖了真实的聚类结构。
• 开发一种自动识别并移除树内结构中虚假边的方法。
• 通过结合树内的拓扑洞察与关联传播的消息传递效率，提升聚类性能。
• 在多样化数据集（包括合成数据与真实世界数据）上验证混合方法的有效性。

提出的方法

• 使用近邻下降（ND）算法构建稀疏的树内图结构，以表示数据集潜在的聚类结构。
• 识别树内中可达的节点对，以确定应保留的潜在连接。
• 在可达节点之间添加额外边，以增强结构连通性，然后在应用关联传播前进行强化。
• 对增强后的树内图结构应用关联传播，以优化聚类分配并消除虚假边。
• 将AP的最终聚类分配作为输出聚类，利用树内的拓扑引导提升稳定性和准确性。
• 通过迭代方式结合树内的局部连通性与AP的全局优化（通过消息传递）来进一步优化聚类。

实验结果

研究问题

• RQ1 由近邻下降方法生成的树内结构能否有效揭示数据集中真实的聚类结构？
• RQ2 如何自动检测并移除树内图中的虚假边以提升聚类质量？
• RQ3 将树内结构与关联传播结合，是否能获得比单独使用任一方法更准确、更鲁棒的聚类结果？
• RQ4 所提出的方法在合成数据集与真实世界数据集上，相较于基线聚类算法，其性能提升程度如何？

主要发现

• 所提方法显著减少了树内结构中的虚假边数量，使聚类结果更加清晰且易于解释。
• 将树内连通性与关联传播结合，显著提升了在具有复杂重叠结构的合成数据集上的聚类准确率。
• 在真实世界数据集上，该方法的聚类性能与最先进算法相当或更优，尤其在保持聚类边界方面表现突出。
• 在应用AP前添加可达节点间的边，可提升收敛速度与稳定性，使多次运行的聚类分配更加一致。
• 该方法对噪声和不同数据密度具有鲁棒性，在多样化数据分布下均能保持高聚类质量。
• 实证评估证实，混合方法在基准数据集上优于独立的ND与AP方法，调整兰德指数与标准化互信息均有显著提升。