[논문 리뷰] Efficient Core Maintenance in Large Dynamic Graphs

Rong-Hua Li, Jeffrey Xu Yu|arXiv (Cornell University)|2012. 07. 19.

Complex Network Analysis Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 엣지 삽입 또는 삭제 후 대규모 동적 그래프에서 k-core 수를 효율적으로 유지하기 위한 알고리즘을 제안한다. 색칠 및 재색칠 전략을 사용해 핵심 수가 변경될 수 있는 노드의 소수의 부분집합만 식별함으로써, 그래프 크기와 무관한 부분선형 시간 복잡도를 달성하여 실험적으로 전체 재계산 대비 100배 이상 빠르게 성능을 냈다.

ABSTRACT

The $k$-core decomposition in a graph is a fundamental problem for social network analysis. The problem of $k$-core decomposition is to calculate the core number for every node in a graph. Previous studies mainly focus on $k$-core decomposition in a static graph. There exists a linear time algorithm for $k$-core decomposition in a static graph. However, in many real-world applications such as online social networks and the Internet, the graph typically evolves over time. Under such applications, a key issue is to maintain the core number of nodes given the graph changes over time. A simple implementation is to perform the linear time algorithm to recompute the core number for every node after the graph is updated. Such simple implementation is expensive when the graph is very large. In this paper, we propose a new efficient algorithm to maintain the core number for every node in a dynamic graph. Our main result is that only certain nodes need to update their core number given the graph is changed by inserting/deleting an edge. We devise an efficient algorithm to identify and recompute the core number of such nodes. The complexity of our algorithm is independent of the graph size. In addition, to further accelerate the algorithm, we develop two pruning strategies by exploiting the lower and upper bounds of the core number. Finally, we conduct extensive experiments over both real-world and synthetic datasets, and the results demonstrate the efficiency of the proposed algorithm.

연구 동기 및 목표

• 엣지가 빈번히 삽입되거나 삭제되는 대규모 동적 그래프에서 k-core 수를 효율적으로 유지하는 데 도전한다.
• 각 업데이트 후에서 전체 재계산이 비용이 많이 들기 때문에 비효율적인 기존의 k-core 분해 재계산 방식을 해결한다.
• 단일 엣지 업데이트로 영향을 받는 핵심 수를 가지는 최소한의 노드 집합을 식별하여 계산 오버헤드를 줄인다.
• 그래프 크기와 무관한 시간 복잡도를 가지며 확장 가능한 알고리즘을 개발한다. 이는 영향을 받는 노드 수에만 의존한다.
• 실제 적용에서 업데이트 프로세스를 더 가속화하기 위해 정렬 전략을 도입한다.

제안 방법

• 영향을 받을 수 있는 업데이트를 국소화하기 위해, 노드 u에서 도달 가능한 노드 중에서 u와 동일한 핵심 수를 가지는 부분그래프 $ G_u $ 를 정의하는 새로운 개념인 유도 핵심 부분그래프를 제안한다.
• 세 단계 알고리즘을 사용한다: (1) 핵심 수가 변경될 수 있는 후보 노드를 식별하기 위한 색칠, (2) 이 중에서 확실히 업데이트가 필요한 노드를 결정하기 위한 재색칠, (3) 식별된 노드들에 대해 선형 시간 복잡도로 재계산 수행.
• 업데이트된 엣지의 끝점에서 시작해 전파되는 색칠 알고리즘을 적용하며, 핵심 수가 두 끝점의 핵심 수의 최솟값과 동일한 노드를 표시한다.
• X-정렬 및 Y-정렬이라는 두 가지 정렬 기법을 도입하여 핵심 수의 하한 및 상한 정보를 활용해 처리 대상 노드 수를 줄인다.
• 특정 엣지 u-v 간의 업데이트로 인해 영향을 받을 수 있는 노드는 오직 $ G_u $, $ G_v $, 또는 $ G_{u igcup v} $ 에만 존재한다는 구조적 성질을 활용하여 영향 범위를 정확히 제한한다.
• 영향을 받는 최소한의 노드 집합에만 적용 가능한 선형 시간 k-core 분해 알고리즘을 최종 업데이트 단계로 사용한다.

실험 결과

연구 질문

• RQ1 동적 그래프에서 엣지 삽입 또는 삭제가 실제로 영향을 주는 노드는 무엇이며, 전체 그래프를 스캔하지 않고 효율적으로 식별할 수 있는가?
• RQ2 그래프 크기와 무관한 시간 복잡도로 동적 그래프에서 k-core 수를 유지할 수 있는가?
• RQ3 핵심 수 업데이트 대상 후보 노드 수를 줄이기 위해 적용할 수 있는 정렬 전략은 무엇인가?
• RQ4 기본 선형 시간 k-core 알고리즘을 사용한 전체 재계산 대비 제안된 알고리즘의 성능은 어떻게 비교되는가?
• RQ5 실제 세계 및 합성 대규모 동적 그래프에서 이 알고리즘은 어느 정도 확장 가능한가?

주요 결과

• 제안된 알고리즘은 각 엣지 업데이트 후 k-core 분해를 다시 계산하는 것보다 100배 이상 빠르다.
• 알고리즘의 시간 복잡도는 그래프 전체 크기와 무관하며 영향을 받는 노드 수에만 의존하므로 부분선형 성능을 달성한다.
• 색칠 및 재색칠 단계는 핵심 수 업데이트가 필요한 최소한의 노드 집합을 효과적으로 식별하여 불필요한 계산을 줄인다.
• X-정렬 및 Y-정렬 전략은 처리 대상 노드 수를 크게 줄여 실질적인 알고리즘 가속화에 기여한다.
• 15개의 실제 세계 및 5개의 대규모 합성 데이터셋에 대한 광범위한 실험을 통해 알고리즘의 높은 효율성과 확장성은 동적 그래프 환경에서 입증되었다.