[논문 리뷰] Finding Community Structure in Mega-scale Social Networks

Ken Wakita, Toshiyuki Tsurumi|ArXiv.org|2007. 02. 08.

Complex Network Analysis Techniques참고 문헌 16인용 수 202

한 줄 요약

이 논문은 커뮤니티 병합의 균형을 개선하기 위해 통합 비율 휴리스틱을 도입하여 CNM 커뮤니티 탐지 알고리즘의 최적화된 3가지 변종을 제안한다. 이로 인해 확장성과 성능이 크게 향상되었으며, 가장 빠른 변종은 100만 노드 네트워크를 5분 내로 처리하고, 550만 노드까지 확장되며 기존 CNM 알고리즘 대비 최대 7배의 속도 향상을 달성하고 모듈러리티도 향상시켰다.

ABSTRACT

Community analysis algorithm proposed by Clauset, Newman, and Moore (CNM algorithm) finds community structure in social networks. Unfortunately, CNM algorithm does not scale well and its use is practically limited to networks whose sizes are up to 500,000 nodes. The paper identifies that this inefficiency is caused from merging communities in unbalanced manner. The paper introduces three kinds of metrics (consolidation ratio) to control the process of community analysis trying to balance the sizes of the communities being merged. Three flavors of CNM algorithms are built incorporating those metrics. The proposed techniques are tested using data sets obtained from existing social networking service that hosts 5.5 million users. All the methods exhibit dramatic improvement of execution efficiency in comparison with the original CNM algorithm and shows high scalability. The fastest method processes a network with 1 million nodes in 5 minutes and a network with 4 million nodes in 35 minutes, respectively. Another one processes a network with 500,000 nodes in 50 minutes (7 times faster than the original algorithm), finds community structures that has improved modularity, and scales to a network with 5.5 million.

연구 동기 및 목표

• 기존 CNM 알고리즘은 커뮤니티 병합이 균형을 이루지 못해 50만 노드를 초과하면 확장성에 문제가 발생하므로 이를 해결한다.
• 계층적 클러스터링 과정에서 커뮤니티 병합의 균형을 증진하는 지표를 도입하여 계산 효율을 향상시킨다.
• 기존 CNM 알고리즘으로는 이행이 어려웠던 메가스케일 소셜 네트워크(최대 550만 노드)에서의 커뮤니티 탐지를 가능하게 한다.
• 다양한 휴리스틱 간에 계산 속도, 모듈러리티 품질, 커뮤니티 구조 일관성 간의 상호 교환 관계를 평가한다.
• 기본 하드웨어에서 실세계 SNS 데이터에 대한 커뮤니티 분석의 실용 가능성을 입증한다.

제안 방법

• 병합되는 두 커뮤니티 간의 균형을 측정하는 '통합 비율' 개념을 도입하며, 이는 더 작은 커뮤니티 크기와 더 큰 커뮤니티 크기의 비율로 정의된다.
• HE, HN, HE' 세 가지 휴리스틱을 제안하며, 이들은 통합 비율과 모듈러리티 증가량을 조합하여 병합할 커뮤니티 쌍을 선정하는 데 사용된다.
• 기존 CNM 알고리즘의 탐욕적 병합 단계를 수정하여 통합 비율이 높은 커뮤니티 쌍을 우선순위로 지정함으로써 균형 잡히지 않은 병합이 성능 저하를 야기하는 것을 방지한다.
• 세 휴리스틱을 단일 스레드 Java 프로그램으로 구현하고, 최대 550만 노드의 실세계 SNS 데이터셋에서 평가한다.
• 결과로 도출된 커뮤니티 구조의 품질 평가를 위해 모듈러리티를 주요 지표로 사용하며, 기존 CNM 알고리즘과 비교한다.
• 실행 시간, 모듈러리티 추세, 다양한 네트워크 규모에서의 커뮤니티 크기 분포를 분석하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존 CNM 알고리즘에서 균형 잡히지 않은 커뮤니티 병합이 대규모 네트워크에서의 확장성에 어떤 영향을 미치는가?
• RQ2 통합 비율 휴리스틱을 도입함으로써 커뮤니티 탐지 알고리즘의 실행 효율은 어느 정도 향상될 수 있는가?
• RQ3 제안된 휴리스틱은 기존 CNM 알고리즘 대비 런타임을 크게 줄이면서도 모듈러리티를 유지하거나 향상시킬 수 있는가?
• RQ4 다른 휴리스틱이 생성한 커뮤니티 구조는 모듈러리티와 커뮤니티 크기 분포 측면에서 어떻게 비교될 수 있는가?
• RQ5 기본 하드웨어에서 제안된 알고리즘의 최대 확장성 한계는 무엇이며, 네트워크 크기가 증가함에 따라 어떻게 확장되는가?

주요 결과

• HE 휴리스틱은 기존 CNM 알고리즘 대비 50만 노드 데이터셋에서 7배의 속도 향상을 달성하여, 350분이던 처리 시간을 50분으로 단축시켰다.
• HE 휴리스틱은 기존 CNM 알고리즘 대비 모듈러리티를 8~11% 향상시켜 더 높은 품질의 커뮤니티 구조를 나타낸다.
• 가장 빠른 변종은 100만 노드 네트워크를 5분 내로 처리하고, 400만 노드 네트워크를 35분 내로 처리하여 뛰어난 성능 스케일링을 보였다.
• HE'는 계산 초기 단계에서 가장 높은 모듈러리티 향상을 보였으며, 이는 조기 종료가 가능한 근사 커뮤니티 탐지에 적합할 수 있음을 시사한다.
• 확장성 분석 결과, HE와 HN는 550만 노드까지 거의 선형적인 속도 향상을 보였고, HE'는 약간의 확장성 저하를 보였지만 최대 1,000만 노드까지 처리 가능할 것으로 추정된다.
• 모든 휴리스틱은 유사한 패턴을 보였다: 소수의 큰 커뮤니티(1만 명 이상)와 많은 작은 커뮤니티(10명 이하)가 있으며, 중간 크기의 커뮤니티 수는 극히 적었다.