[论文解读] Finding Community Structure with Performance Guarantees in Complex Networks

Thang N. Dinh, My T. Thai|arXiv (Cornell University)|Aug 19, 2011

Complex Network Analysis Techniques参考文献 27被引用 5

一句话总结

本文提出了两种针对复杂网络模块度最大化的多项式时间算法，并具有理论性能保证。第一种是新颖的近似算法，针对具有幂律度分布的网络，提供常数因子保证——此为首次。第二种引入了一种稀疏度量公式化方法，将线性规划（LP）约束减少数个数量级，从而能够高效求解规模达数千个节点的网络，同时在实践中保持最优或近似最优的模块度。

ABSTRACT

Many networks including social networks, computer networks, and biological networks are found to divide naturally into communities of densely connected individuals. Finding community structure is one of fundamental problems in network science. Since Newman's suggestion of using \emph{modularity} as a measure to qualify the goodness of community structures, many efficient methods to maximize modularity have been proposed but without a guarantee of optimality. In this paper, we propose two polynomial-time algorithms to the modularity maximization problem with theoretical performance guarantees. The first algorithm comes with a \emph{priori guarantee} that the modularity of found community structure is within a constant factor of the optimal modularity when the network has the power-law degree distribution. Despite being mainly of theoretical interest, to our best knowledge, this is the first approximation algorithm for finding community structure in networks. In our second algorithm, we propose a \emph{sparse metric}, a substantially faster linear programming method for maximizing modularity and apply a rounding technique based on this sparse metric with a \emph{posteriori approximation guarantee}. Our experiments show that the rounding algorithm returns the optimal solutions in most cases and are very scalable, that is, it can run on a network of a few thousand nodes whereas the LP solution in the literature only ran on a network of at most 235 nodes.

研究动机与目标

• 解决现有模块度最大化的算法缺乏理论性能保证的问题。
• 克服先前基于线性规划（LP）方法的可扩展性限制，这些方法此前仅能处理最多235个节点的网络。
• 开发一种高效、可扩展的基于LP的方法，在显著降低内存和时间需求的同时保持解的质量。
• 为具有幂律度分布的网络中的模块度最大化建立理论近似保证。
• 实现在大规模真实世界网络中实际部署具有性能保证的社区检测。

提出的方法

• 提出一种新的稀疏度量公式化方法，通过利用网络稀疏性和幂律度分布，将模块度最大化的LP问题中的约束数量大幅减少。
• 对稀疏LP的分数解应用舍入技术，获得具有事后近似保证的有效社区划分。
• 引入一种理论近似算法，为具有幂律度分布的网络提供最优模块度的常数因子近似保证。
• 采用约简技术预处理度为1的节点（叶节点）及其他结构基元，从而加速求解时间。
• 通过引入缩放参数λ，将框架扩展至多尺度模块度，同时保持理论保证。
• 对完整LP和稀疏LP公式化均采用相同的舍入过程，确保模块度值完全一致，同时实现巨大的性能提升。

实验结果

研究问题

• RQ1 能否为复杂网络中的模块度最大化设计一种具有可证明性能保证的多项式时间近似算法？
• RQ2 如何在不牺牲解质量的前提下，降低基于LP的模块度最大化的计算复杂度？
• RQ3 幂律度分布对模块度最大化的可近似性有何影响？
• RQ4 能否构建一种稀疏度量公式化方法，在保持理论保证的同时实现对大规模网络的可扩展性？
• RQ5 在真实世界网络实例中，所提出方法与现有基于LP的方法相比，在运行时间、内存使用和解质量方面表现如何？

主要发现

• 所提出的稀疏度量公式化方法将LP公式的约束数量从数百万减少到几百个，从而能够求解规模达1,589个节点的网络。
• 测试中最大的网络（1,589个节点）在3秒内完成求解，而此前方法在10,000秒和12 GB内存限制下均未能求解成功。
• 在中等规模网络上，稀疏LP公式化相比原始LP公式化实现了10至150倍的加速。
• 舍入算法在所有测试的真实世界网络实例中均产生了最优或近似最优的解（与最优解相差不超过0.1%）。
• 该近似算法首次为具有幂律度分布的网络提供了模块度的常数因子保证，填补了文献空白。
• 该框架自然可扩展至多尺度模块度（Qλ），并保持相同的理论保证和性能提升。