[논문 리뷰] On Efficiently Detecting Overlapping Communities over Distributed Dynamic Graphs

Xun Jian, Xiang Lian외 1명|arXiv (Cornell University)|2018. 01. 18.

Complex Network Analysis Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 분산 동적 그래프에서 겹치는 커뮤니티를 효율적이고 증분적으로 탐지할 수 있도록 하는 랜덤화된 스피커-리스너 레이블 전파 알고리즘(rSLPA)을 제안한다. 레이블 전파 확률을 완화함으로써 rSLPA는 엣지 삽입 또는 삭제 후에도 하위선형 시간 업데이트를 가능하게 하면서도 높은 정확도를 유지한다. 이는 업데이트된 그래프에서 다시 처음부터 배치 처리를 수행한 결과와 동일한 성능을 증분적으로 달성하는 데 있어 최초의 알고리즘이다.

ABSTRACT

Modern networks are of huge sizes as well as high dynamics, which challenges the efficiency of community detection algorithms. In this paper, we study the problem of overlapping community detection on distributed and dynamic graphs. Given a distributed, undirected and unweighted graph, the goal is to detect overlapping communities incrementally as the graph is dynamically changing. We propose an efficient algorithm, called extit{randomized Speaker-Listener Label Propagation Algorithm} (rSLPA), based on the extit{Speaker-Listener Label Propagation Algorithm} (SLPA) by relaxing the probability distribution of label propagation. Besides detecting high-quality communities, rSLPA can incrementally update the detected communities after a batch of edge insertion and deletion operations. To the best of our knowledge, rSLPA is the first algorithm that can incrementally capture the same communities as those obtained by applying the detection algorithm from the scratch on the updated graph. Extensive experiments are conducted on both synthetic and real-world datasets, and the results show that our algorithm can achieve high accuracy and efficiency at the same time.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 대규모 동적 그래프에서 겹치는 커뮤니티를 탐지하는 데 도전하는 데에 대비하기 위해.
• 그래프 변경 이후 다시 처음부터 계산하지 않고도 커뮤니티 탐지 결과를 증분적으로 업데이트할 수 있는 알고리즘을 설계하기 위해.
• 증분 업데이트가 다시 처음부터 전체 업데이트된 그래프를 처리한 결과와 동일한 품질을 유지하도록 보장하기 위해.
• 매우 병렬화가 용이한 접근 방식을 사용하여 분산 환경에서 효율적이고 확장 가능한 커뮤니티 탐지가 가능하도록 하기 위해.
• 동적 그래프 상황에서 증분 업데이트의 시간 복잡도에 대한 이론적 경계를 제공하기 위해.

제안 방법

• rSLPA는 레이블 전파에 사용되는 확률 분포를 완화시켜 SLPA 알고리즘을 확장함으로써 안정성과 확장성을 향상시킨다.
• 레이블 전파 단계에서 랜덤 선택 메커니즘을 사용하여 초기 조건에 대한 민감도를 낮추고 수렴성을 향상시킨다.
• 레이블 전파 이후, 후처리 단계에서 각 정점의 레이블을 집계하고, 레이블 빈도와 겹침 기반으로 커뮤니티를 추출한다.
• 증분 업데이트 메커니즘은 그래프 구조의 변화(엣지 삽입/삭제)를 감지하고, 레이블 분포의 영향을 받는 부분만 선택적으로 재계산한다.
• 알고리즘은 분산 설계되어 있어 클러스터 내 여러 노드에서 병렬 실행이 가능하도록 되어 있다.
• 이론적 분석을 통해 기대 시간 복잡도를 유도하였으며, 다양한 그래프 변화 상황에서의 증분 업데이트에 대해 상한과 하한 경계를 도출하였다.

실험 결과

연구 질문

• RQ1 분산 동적 그래프에서 겹치는 커뮤니티 탐지가 효율적이고 증분적으로 업데이트될 수 있는가?
• RQ2 rSLPA의 증분 업데이트가 다시 처음부터 전체 업데이트된 그래프를 처리한 결과와 동일한 품질을 달성하는가?
• RQ3 rSLPA의 증분 업데이트 메커니즘의 시간 복잡도는 무엇이며, 변경된 엣지 수에 따라 어떻게 스케일링되는가?
• RQ4 기존의 정적 또는 비증분 알고리즘과 비교할 때 rSLPA는 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 rSLPA는 변경된 엣지 수에 대해 하위선형 업데이트 시간을 유지하면서도 높은 품질의 커뮤니티 탐지 결과를 유지할 수 있는가?

주요 결과

• rSLPA는 높은 정확도를 달성하였으며, 합성 LFR 벤치마크 데이터셋에서 정규화 상호정보량(NMI) 점수가 항상 0.8 이상이었다.
• rSLPA의 증분 업데이트 메커니즘은 변경된 엣지 수에 대해 하위선형 실행 시간을 보였으며, 대규모 업데이트 배치에 있어서 효율적이었다.
• rSLPA는 다시 처음부터 전체 업데이트된 그래프를 처리한 결과와 동일한 품질의 커뮤니티 탐지 결과를 생성하였다.
• 매우 병렬화가 용이한 레이블 전파와 국소적 업데이트 전략 덕분에 분산 환경에서 잘 스케일링되었다.
• 실제 그래프와 합성 그래프에 대한 광범위한 실험을 통해 rSLPA가 기존 방법보다 동적 겹침 커뮤니티 탐지에서 효율성과 정확성 측면에서 뛰어나다는 것이 확인되었다.
• 이론적 분석을 통해 rSLPA의 증분 업데이트가 경계가 있는 시간 복잡도를 가짐을 확인하였으며, 다양한 그래프 변화 상황에서 상한과 하한 경계가 유도되었다.