[论文解读] A Complex Networks Approach for Data Clustering

Francisco A. Rodrigues, Guilherme Ferraz de Arruda+1 more|arXiv (Cornell University)|Jan 26, 2011

Complex Network Analysis Techniques参考文献 1被引用 4

一句话总结

本文提出了一种基于复杂网络理论的新型数据聚类方法，其中数据点被建模为网络中的节点，边的权重由相似性度量（例如，切比雪夫距离、曼哈顿距离）决定，并通过先进的算法（如 fastgreedy）检测社区。该方法在自动检测聚类数量方面实现了优异的聚类准确率，优于传统的 k-means 和 EM 方法，尤其在非球形和重叠聚类上表现更优。

ABSTRACT

Many methods have been developed for data clustering, such as k-means, expectation maximization and algorithms based on graph theory. In this latter case, graphs are generally constructed by taking into account the Euclidian distance as a similarity measure, and partitioned using spectral methods. However, these methods are not accurate when the clusters are not well separated. In addition, it is not possible to automatically determine the number of clusters. These limitations can be overcome by taking into account network community identification algorithms. In this work, we propose a methodology for data clustering based on complex networks theory. We compare different metrics for quantifying the similarity between objects and take into account three community finding techniques. This approach is applied to two real-world databases and to two sets of artificially generated data. By comparing our method with traditional clustering approaches, we verify that the proximity measures given by the Chebyshev and Manhattan distances are the most suitable metrics to quantify the similarity between objects. In addition, the community identification method based on the greedy optimization provides the smallest misclassification rates.

研究动机与目标

• 为解决传统基于图的聚类方法的局限性，例如聚类数量固定以及在非分离或复杂形状聚类上的表现不佳。
• 评估各种相似性度量（欧几里得距离、曼哈顿距离、切比雪夫距离等）在构建准确数据网络用于聚类方面的有效性。
• 比较社区检测算法（例如，fastgreedy、模块度优化）在复杂网络中识别聚类的性能。
• 证明基于复杂网络的聚类方法能够自动确定聚类数量，同时实现比传统方法更低的误分类率。
• 在具有复杂聚类结构的人工数据集和真实世界数据库上验证所提出方法的有效性。

提出的方法

• 通过基于相似性度量（包括欧几里得距离、曼哈顿距离、切比雪夫距离和 Tanimoto 距离）定义边，将数据点转换为网络。
• 使用指数函数或倒数函数对相似性值进行变换，以增强网络结构和社区检测的准确性。
• 采用三种算法进行社区检测：fastgreedy、领先特征向量法和 walktrap，利用模块度最大化来确定最优聚类数量。
• 通过选择模块度值最大的划分自动确定聚类数量，从而无需预先指定。
• 网络构建采用 k-近邻方法，以确保稀疏性与计算效率。
• 通过误分类率评估性能，将复杂网络方法与 k-means、cobweb、EM 和最远优先聚类方法进行比较。

实验结果

研究问题

• RQ1 哪种相似性度量（例如，切比雪夫距离、曼哈顿距离、欧几里得距离）能为复杂数据结构的聚类生成最准确的网络表示？
• RQ2 在聚类准确率和计算效率方面，社区检测算法（fastgreedy、领先特征向量法、walktrap）的性能如何比较？
• RQ3 复杂网络方法能否在无需先验知识的情况下自动确定聚类数量，其表现与需要输入 k 值的方法相比如何？
• RQ4 网络基聚类方法在人工数据集和真实世界数据集上是否均能实现比 k-means 和 EM 等传统算法更低的误分类率？
• RQ5 不同数据分布（例如，密度不同的半圆形聚类）如何影响所提出方法的性能？

主要发现

• 在真实世界数据库上，曼哈顿距离的指数形式和切比雪夫距离的倒数形式产生了最低的误分类率，表明其在捕捉相似性方面具有优势。
• 对于具有半圆形聚类的人工数据集，曼哈顿距离和切比雪夫距离的指数形式产生了最小的误差率，尤其在点密度增加时表现更优。
• fastgreedy 社区检测算法实现了最低的误分类率，并且效率最高，优于领先特征向量法和 walktrap 方法。
• 基于复杂网络的方法在非球形和重叠聚类上显著优于 k-means 和 cobweb，后者在这些情况下表现失败。
• 该方法通过模块度最大化自动确定聚类数量，无需预先指定 k 值，在不同形状和密度的聚类数据集上均表现出鲁棒性。
• 在已知聚类数量（k=2）的情况下，复杂网络方法仍优于 k-means 和 cobweb，证实了其鲁棒性和准确性。