[论文解读] Ensemble approaches for improving community detection methods

Johan Dahlin, Pontus Svenson|arXiv (Cornell University)|Sep 1, 2013

Complex Network Analysis Techniques参考文献 3被引用 23

一句话总结

本文提出了一种基于集成的社区检测方法——基于节点的社区融合（NFC），通过聚合多次社区检测运行的结果（如标签传播、不同算法或重采样网络）来提高聚类准确率。NFC以较低的计算复杂度实现性能提升，在使用NMI和相关性度量的合成网络上优于标准方法。

ABSTRACT

Statistical estimates can often be improved by fusion of data from several different sources. One example is so-called ensemble methods which have been successfully applied in areas such as machine learning for classification and clustering. In this paper, we present an ensemble method to improve community detection by aggregating the information found in an ensemble of community structures. This ensemble can found by re-sampling methods, multiple runs of a stochastic community detection method, or by several different community detection algorithms applied to the same network. The proposed method is evaluated using random networks with community structures and compared with two commonly used community detection methods. The proposed method when applied on a stochastic community detection algorithm performs well with low computational complexity, thus offering both a new approach to community detection and an additional community detection method.

研究动机与目标

• 通过探索基于集成的方法，解决网络中社区结构缺乏通用定义的问题。
• 通过融合多个聚类结果，提高社区检测的准确性和鲁棒性。
• 降低对参数选择和社区检测算法中随机变异的敏感性。
• 通过结合不同算法运行的结果，实现多尺度社区分析。
• 为现有社区检测方法提供一种计算高效的替代方案。

提出的方法

• NFC方法聚合来自同一网络上多次随机算法运行（如标签传播LP）或不同算法应用结果的社区结构。
• 采用基于节点的融合策略，对在多个社区结构中始终被归为同一组的节点赋予更高权重。
• 该方法应用凝聚式层次聚类来合并社区，使用优先考虑高模块性结构的链接规则。
• 将模块性作为置信度度量，赋予高质量划分中社区分配更高的权重。
• 该方法支持跨不同算法变体、重采样网络以及多尺度社区检测的融合。
• 计算复杂度理论上为O(pn²log n)，其中p为运行次数，n为节点数。

实验结果

研究问题

• RQ1 通过集成多个社区检测结果的融合，能否提升社区结构识别的准确性和鲁棒性？
• RQ2 与贪婪模块化最大化和q-Potts自旋玻璃模型等标准社区检测算法相比，NFC表现如何？
• RQ3 NFC在多大程度上降低了对参数设置和随机算法中随机变异的敏感性？
• RQ4 NFC能否有效结合不同算法或重采样网络的结果以提升检测质量？
• RQ5 NFC的计算复杂度是多少？其随网络规模和运行次数的扩展特性如何？

主要发现

• 在合成网络上，NFC方法显著提高了社区检测的准确率，以标准化互信息（NMI）和相关性度量衡量。
• 当与标签传播（LP）算法结合时，NFC在聚类质量上优于LP和贪婪模块化算法。
• 与贪婪算法不同，NFC对混合参数μ的敏感性较低，后者在μ较高时运行时间显著增加。
• 对于节点数少于1000的网络，尽管理论复杂度更高，NFC仍比贪婪算法更快。
• 目前NFC的实现实际复杂度约为O(n³)，高于理论复杂度O(n²log n)，但可通过代码优化进一步改进。
• 基于模块性加权的节点共现融合优于无权重融合，证实了质量感知聚合的价值。