[论文解读] Efficient Core Maintenance in Large Dynamic Graphs

Rong-Hua Li, Jeffrey Xu Yu|arXiv (Cornell University)|Jul 19, 2012

Complex Network Analysis Techniques参考文献 18被引用 8

一句话总结

本文提出了一种高效算法，用于在大型动态图中维护k-core数值，适用于边的插入或删除操作。通过识别仅一小部分核心数可能发生变化的节点——采用着色与重着色策略——该方法实现了与图大小无关的亚线性时间复杂度，在实验中比完整重新计算快逾100倍。

ABSTRACT

The $k$-core decomposition in a graph is a fundamental problem for social network analysis. The problem of $k$-core decomposition is to calculate the core number for every node in a graph. Previous studies mainly focus on $k$-core decomposition in a static graph. There exists a linear time algorithm for $k$-core decomposition in a static graph. However, in many real-world applications such as online social networks and the Internet, the graph typically evolves over time. Under such applications, a key issue is to maintain the core number of nodes given the graph changes over time. A simple implementation is to perform the linear time algorithm to recompute the core number for every node after the graph is updated. Such simple implementation is expensive when the graph is very large. In this paper, we propose a new efficient algorithm to maintain the core number for every node in a dynamic graph. Our main result is that only certain nodes need to update their core number given the graph is changed by inserting/deleting an edge. We devise an efficient algorithm to identify and recompute the core number of such nodes. The complexity of our algorithm is independent of the graph size. In addition, to further accelerate the algorithm, we develop two pruning strategies by exploiting the lower and upper bounds of the core number. Finally, we conduct extensive experiments over both real-world and synthetic datasets, and the results demonstrate the efficiency of the proposed algorithm.

研究动机与目标

• 解决在边频繁插入或删除的大规模动态图中，高效维护k-core数值的挑战。
• 克服每次更新后从头重新计算k-core分解的低效性，该方法对大规模图而言计算成本过高。
• 识别出单次边更新后核心数可能受影响的最小节点集合，从而降低计算开销。
• 设计一种时间复杂度与图大小无关、仅依赖于受影响节点数量的可扩展算法。
• 引入剪枝策略，进一步在实际中加速更新过程。

提出的方法

• 提出一种新型的诱导核心子图 $ G_u $ 概念，定义为从 $ u $ 可达且核心数与 $ u $ 相同的节点集合，以实现潜在更新的局部化。
• 采用三阶段算法：(1) 着色以识别核心数可能改变的候选节点，(2) 重着色以确定其中哪些节点确实需要更新，(3) 对识别出的节点进行线性时间重新计算。
• 应用一种着色算法，从更新边的两个端点开始传播，标记所有可达节点，其核心数等于两个端点核心数的最小值。
• 引入两种剪枝技术：X-剪枝与Y-剪枝，分别利用核心数的下界与上界，以减少处理的节点数量。
• 利用结构特性：仅当 $ u $ 与 $ v $ 之间发生边更新时，$ G_u $、$ G_v $ 或 $ G_{u igcup v} $ 中的节点可能受影响，从而实现精确的作用范围限制。
• 在最后一步更新中使用线性时间k-core分解算法，且仅作用于受影响的最小节点集合。

实验结果

研究问题

• RQ1 在动态图中，哪些节点实际上会因边的插入或删除而受到影响？我们能否在不扫描整个图的前提下高效识别这些节点？
• RQ2 我们能否实现时间复杂度与图大小无关的k-core数值维护？
• RQ3 可以应用哪些剪枝策略来减少核心数更新的候选节点数量？
• RQ4 与使用标准线性时间k-core算法的完整重新计算相比，所提算法在性能上表现如何？
• RQ5 该算法在真实世界与合成的大规模动态图上具有多大程度的可扩展性？

主要发现

• 所提算法在每次边更新后重新计算k-core分解的效率比从头计算快逾100倍。
• 该算法的时间复杂度仅依赖于受影响节点的数量，与图的总大小无关，从而实现亚线性性能。
• 着色与重着色阶段能有效识别出需要更新核心数的最小节点集合，避免了不必要的计算。
• X-剪枝与Y-剪枝策略显著减少了处理的节点数量，实际运行中大幅加速了算法。
• 在15个真实世界与5个大规模合成数据集上的大量实验表明，该算法在动态图环境中具有极高的效率与可扩展性。