[논문 리뷰] A Streaming Algorithm for Graph Clustering

Alexandre Hollocou, Julien Maudet외 2명|arXiv (Cornell University)|2017. 12. 09.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 메모리에 담을 수 없는 대규모 그래프를 처리할 수 있도록 단일 패ass에서만 처리하며, 노드당 세 개의 정수만 사용하는 스트리밍 그래프 클러스터링 알고리즘을 제시한다. 이 알고리즘은 선형 시간 및 공간 복잡도를 달성하며, Friendster 및 Orkut과 같은 대규모 네트워크에서 특히 뛰어난 클러스터링 품질 유지를 바탕으로 최신 기술보다 10배 이상 빠르게 동작한다.

ABSTRACT

We introduce a novel algorithm to perform graph clustering in the edge streaming setting. In this model, the graph is presented as a sequence of edges that can be processed strictly once. Our streaming algorithm has an extremely low memory footprint as it stores only three integers per node and does not keep any edge in memory. We provide a theoretical justification of the design of the algorithm based on the modularity function, which is a usual metric to evaluate the quality of a graph partition. We perform experiments on massive real-life graphs ranging from one million to more than one billion edges and we show that this new algorithm runs more than ten times faster than existing algorithms and leads to similar or better detection scores on the largest graphs.

연구 동기 및 목표

• 실생활 응용 분야인 소셜 네트워크와 웹 그래프와 같이 주 메모리 용량을 초과하는 대규모 그래프를 클러스터링하는 문제에 대응한다.
• 전체 그래프를 저장하지 않고도 엣지를 정확히 한 번씩만 처리하는 스트리밍 알고리즘을 설계하여, 심지어 수십억 개 엣지를 가진 네트워크에까지 확장 가능하게 한다.
• 노드당 세 개의 정수만 사용하는 경량 클러스터링 방법을 개발하여 최소한의 메모리 사용량을 확보하면서도 높은 품질의 커뮤니티 탐지 성능을 유지한다.
• 모듈래리티 함수를 이용한 이론적 근거를 제시하여, 특정 가정 하에 각 엣지 처리 단계에서 모듈래리티가 증가함을 보장함으로써 알고리즘 설계의 타당성을 입증한다.
• 기존 방법들과 비교해도 대규모 그래프에서 동일하거나 더 뛰어난 클러스터링 품질을 달성함을 입증한다. 이는 매우 효율적인 성능에도 불구하고 성립한다.

제안 방법

• 알고리즘은 엣지를 삽입 전용 스트리밍 방식으로 처리하며, 전체 그래프를 저장하지 않고도 각 엣지를 정확히 한 번씩만 검토한다.
• 각 노드에 대해 세 개의 정수를 유지한다: 현재 커뮤니티 인덱스, 현재 차수(처리된 엣지 수), 커뮤니티 볼륨(해당 커뮤니티 내 차수의 합).
• 새로운 엣지 (i,j) 가 도착하면, 커뮤니티 i 와 j 를 병합할지 여부를 임계값 파rameter $v_{\mathrm{max}}$ 와 노드 i, j 의 커뮤니티 볼륨을 기반으로 결정한다.
• 이 결정 규칙은 모듈래리티 함수를 이용해 이론적으로 정당화되며, 특정 가정 하에 병합이 모듈래리티를 증가시킴을 보장한다.
• 알고리즘은 전체 엣지 목록을 저장하는 것과 비교해 매우 낮은 메모리 사용량을 보이기 위해 최소한의 스케치(노드당 세 개의 정수)만 사용한다.
• 알고리즘은 결정론적이며, 조정 가능한 파rameter가 오직 하나인 $v_{\mathrm{max}}$ 뿐이며, 이는 커뮤니티 병합의 민감도를 제어한다.

실험 결과

연구 질문

• RQ1 메모리 사용량을 최소화하면서도 단일 패스로 대규모 그래프를 처리할 수 있는 그래프 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 스트리밍 환경에 맞게 모듈래리티 함수를 어떻게 수정할 수 있으며, 이를 통해 커뮤니티 병합이 클러스터링 품질 향상에 기여하는가?
• RQ3 수십억 개 엣지를 가진 그래프에서 스트리밍 알고리즘을 사용할 경우, 속도와 클러스터링 품질 간의 성능 트레이드오프는 어떠한가?
• RQ4 스트리밍 알고리즘이 Louvain 및 SCD 와 같은 최신 기술보다 더 뛰어나거나 동등한 탐지 점수를 달성할 수 있는가?
• RQ5 10억 개 이상의 엣지를 가진 그래프를 처리할 때 알고리즘이 실행 시간과 메모리 소비 측면에서 어떻게 확장되는가?

주요 결과

• Friendster 그래프(18억 개 엣지)를 241초 만에 처리했으며, 엣지 목록을 읽는 유닉스 명령어 'cat' 보다 뿐만 아니라 59초 뿐 느리게 동작하여 알고리즘의 오버헤드가 극히 낮음을 시사한다.
• Friendster 데이터셋에서 알고리즘은 Louvain 및 SCD 보다 10배 이상 빠르게 동작하며, 이들 알고리즘이 이 규모에서 완료하지 못한 것을 고려하면 뚜렷한 성능 우위를 보인다.
• 메모리 소비는 극적으로 감소했으며, Friendster 에서는 엣지 목록을 저장하는 데만 28.9 GB 가 필요한 데 비해 알고리즘은 단 1.6 GB 뿐을 사용한다.
• LiveJournal, Orkut, Friendster 와 같은 대규모 그래프에서 알고리즘은 SCD 와 Louvain 보다 더 높은 F1 점수를 기록했으며, LiveJournal 에서는 0.28, Orkut 에서는 0.44 의 F1 점수를 기록했다.
• 작은 그래프에서는 NMI 점수가 경쟁력 있는 수준이었고, 대규모 그래프에서는 뚜렷한 우수성을 보였다. Orkut 에서는 0.24 NMI 점수를 기록했으며, Friendster 에서는 다른 알고리즘이 NMI 를 계산하지 못한 상황에서 0.19 F1 점수를 확보했다.
• 이론적 분석을 통해 특정 가정 하에 각 엣지 처리 단계에서 모듈래리티가 증가함을 입증함으로써, 알고리즘 설계의 타당성을 뒷받침했다.