[논문 리뷰] Comparison and Benchmark of Graph Clustering Algorithms

Lizhen Shi, Bo Chen|arXiv (Cornell University)|2020. 05. 10.

Complex Network Analysis Techniques참고 문헌 71인용 수 4

한 줄 요약

이 논문은 가중치가 있는 및 없는 그래프에서 70개 이상의 그래프 클러스터링 알고리즘에 대한 종합적인 벤치마크를 제시하며, NMI 및 모듈래리티와 같은 표준화된 지표를 사용해 런타임과 클러스터링 품질을 평가한다. 정확도 측면에서 Louvain과 Infomap가 최고의 성능을 보였고, MCL와 LabelRank는 런타임 효율성이 높아 네트워크 분석에서 알고리즘 선택에 실용적인 안내를 제공한다.

ABSTRACT

Graph clustering is widely used in analysis of biological networks, social networks and etc. For over a decade many graph clustering algorithms have been published, however a comprehensive and consistent performance comparison is not available. In this paper we benchmarked more than 70 graph clustering programs to evaluate their runtime and quality performance for both weighted and unweighted graphs. We also analyzed the characteristics of ground truth that affects the performance. Our work is capable to not only supply a start point for engineers to select clustering algorithms but also could provide a viewpoint for researchers to design new algorithms.

연구 동기 및 목표

• 문헌에서 아직 대규모이고 표준화된 벤치마크가 부족한 상황을 감안해, 70개 이상의 그래프 클러스터링 알고리즘에 대한 종합적이고 일관된 성능 비교를 제공하기 위해.
• 가중치가 있는 및 없는 네트워크를 포함한 다양한 그래프 유형에서 런타임 효율성과 클러스터링 품질을 모두 평가하기 위해.
• 기본 진실 특성(예: 커뮤니티 크기, 혼합 파라미터)이 알고리즘 성능에 미치는 영향을 분석하기 위해.
• 연구자 및 엔지니어가 경험적 성능에 기반해 클러스터링 알고리즘을 선택하거나 설계할 수 있도록 실용적인 참고 자료를 제공하기 위해.
• LFR 벤치마크와 NMI 및 모듈래리티와 같은 표준화된 평가 지표를 사용해 재현 가능한 벤치마크 프레임워크를 구축하기 위해.

제안 방법

• 다양한 파rameter를 가진 합성 LFR 벤치마크 그래프에서 주요 라이브러리(iGraph, NetworkX, PyCABEM, SNAP 등)의 70개 이상의 그래프 클러스터링 알고리즘을 벤치마크했다.
• 클러스터링 품질과 효율성을 평가하기 위해 표준화된 평가 지표인 정규화된 상호정보량(NMI), 모듈래리티 및 런타임을 사용했다.
• 혼합 파라미터(μ), 커뮤니티 크기, 그래프 밀도가 다양하게 설정된 여러 LFR 벤치마크 인스턴스에서 알고리즘을 평가했다.
• 모든 테스트 조건에서 일관된 알고리즘 성능 비교를 위해 통계적 순위(예: μ 값에 따른 평균 순위)를 적용했다.
• 각 알고리즘의 NMI 순위와 다양한 μ 설정에서의 런타임(초 단위)을 상세한 표로 보고했다.
• 비중첩, 무방향, 무게 없는 및 가중치가 있는 그래프에 집중하였으며, 일관된 사전 처리 및 평가 프로토콜을 적용했다.

실험 결과

연구 질문

• RQ1 다양한 혼합 파라미터를 가진 LFR 벤치마크 그래프에서 어떤 그래프 클러스터링 알고리즘이 NMI로 측정된 최고의 클러스터링 품질을 달성하는가?
• RQ2 다양한 그래프 크기와 밀도에서 그래프 클러스터링 알고리즘의 런타임 성능는 어떻게 비교되는가?
• RQ3 커뮤니티 크기 분포와 혼합 파라미터(μ)와 같은 기본 진실 특성이 클러스터링 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ4 다양한 벤치마크 구성에서 정확도와 효율성 양면에서 항상 상위에 위치하는 알고리즘은 무엇인가?
• RQ5 시험된 알고리즘들 사이에서 정확도(NMI)와 계산 효율성(런타임) 사이의 상호 교환 관계는 어떠한가?

주요 결과

• Louvain과 Infomap는 LFR 벤치마크에서 모든 μ 값에서 가장 높은 NMI 점수를 지속적으로 확보했으며, 평균 NMI 순위는 각각 2위와 4위였다.
• MCL와 LabelRank는 가장 빠른 런타임 성능를 보였고, MCL는 더 큰 그래프에서 평균 런타임이 가장 낮은 10초를 기록했으며, LabelRank는 중간 크기의 그래프에서 가장 빠른 편에 속했다.
• SpectralClustering와 AffinityPropagation는 높은 NMI 순위(11–18)와 긴 런타임(20초 이상)을 보이며 효율-정확도 트레이드오���이 열악한 것으로 나타났다.
• OSLOM과 InfohierMap의 성능는 μ에 따라 크게 달라졌으며, 높은 혼합 파라미터(μ > 0.5)에서 NMI 점수가 낮아져 커뮤니티 겹침에 민감한 것으로 나타났다.
• TopGC와 스캔 기반 방법(예: AnyScan)은 높은 NMI 순위(16–28)와 긴 런타임(30초 이상)을 보이며 스케일러빌리티가 떨어지는 것으로 나타났다.
• 이 연구는 모든 지표에서 다른 알고리즘보다 뛰어난 단일 알고리즘이 존재하지 않음을 밝혀냈다: Louvain은 정확도에서 뛰어났고, MCL와 LabelRank는 속도에서 두각을 나타내어, 사용 사례 우선순위에 따라 알고리즘 선택이 필요함을 시사했다.