[논문 리뷰] Community Detection Algorithm Evaluation using Size and Hashtags

Paul Wagenseller, Feng Wang|arXiv (Cornell University)|2016. 12. 11.

Complex Network Analysis Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 클리크 기반 커뮤니티 탐지 알고리즘(CAA)을 제안하고 커뮤니티 크기, 커버리지, 모듈라리티, 삼각형 참여 비율(TPR), 해시태그 기반 사용자 관심사를 사용하여 커뮤니티 탐지 알고리즘을 평가한다. CAA와 InfoMap은 더 의미 있는 커뮤니티(크기 4–150)를 생성하여 주제적 일관성이 강한 성능을 보이며, 기존 방법들은 종종 너무 작거나 크고 일관성이 없는 커뮤니티를 생성한다.

ABSTRACT

Understanding community structure in social media is critical due to its broad applications such as friend recommendations, link predictions and collaborative filtering. However, there is no widely accepted definition of community in literature. Existing work use structure related metrics such as modularity and function related metrics such as ground truth to measure the performance of community detection algorithms, while ignoring an important metric, size of the community. [1] suggests that the size of community with strong ties in social media should be limited to 150. As we discovered in this paper, the majority of the communities obtained by many popular community detection algorithms are either very small or very large. Too small communities don't have practical value and too large communities contain weak connections therefore not stable. In this paper, we compare various community detection algorithms considering the following metrics: size of the communities, coverage of the communities, extended modularity, triangle participation ratio, and user interest in the same community. We also propose a simple clique based algorithm for community detection as a baseline for the comparison. Experimental results show that both our proposed algorithm and the well-accepted disjoint algorithm InfoMap perform well in all the metrics.

연구 동기 및 목표

• 커뮤니티 탐지 알고리즘 평가에서 간과된 커뮤니티 크기 지표를 다루기 위해.
• 인지적 및 사회적 제약에 기반한 크기 제약(4–150 사용자)을 중심으로 커뮤니티의 실용성을 식별하고 측정하기 위해.
• 구조적 지표 외에도 사용자 해시태그 분석을 통한 주제 일관성으로 알고리즘을 평가하기 위해.
• 소셜 미디어에 적합한 겹치는 고품질 커뮤니티를 생성하는 새로운 클리크 기반 알고리즘(CAA)을 제안하기 위해.
• 모듈라리티 최적화만으로는 커뮤니티 크기와 주제 일관성을 고려하지 않을 경우 부족함을 보임을 보여주기 위해.

제안 방법

• 최대 클리크에서 시작하여 성장 임계치와 겹침 임계치를 사용해 커뮤니티를 확장하는 클리크 보강 알고리즘(CAA)을 제안한다.
• 성장 임계치는 커뮤니티 크기를 제어하고, 겹침 임계치는 커뮤니티 간 겹침을 관리한다.
• 다섯 가지 평가 지표를 적용한다: 커뮤니티 크기 분포, 커버리지(희망 크기 범위 내 사용자 비율), 확장된 모듈라리티, 삼각형 참여 비율(TPR), 사용자 관심도를 위한 해시태그 유사도.
• 사용자당 상위 10개 해시태그를 수집하고 주제를 수동으로 레이블링하여 커뮤니티의 일관성 수준을 평가한다.
• 2013년 트위터 네트워크(318,233명의 사용자)에서 다섯 알고리즘—InfoMap, 고유벡터, 패스트 그리디, 멀티레벨, CAA—을 평가한다.
• 커뮤니티 내부의 밀집도를 측정하기 위해 TPR을 사용하며, 높은 값일수록 커뮤니티 내 삼각형 클러스터링이 강함을 의미한다.

실험 결과

연구 질문

• RQ1 기존 커뮤니티 탐지 알고리즘은 커뮤니티 크기 분포 측면에서 어떻게 성능을 보이며, 실용적인 크기(4–150명)의 커뮤니티를 생성하는가?
• RQ2 해시태그 유사도로 측정했을 때, 탐지된 커뮤니티는 사용자 간 공유된 관심사를 어느 정도 반영하는가?
• RQ3 간단한 클리크 기반 알고리즘(CAA)이 의미 있고 공명하며 적절한 크기의 커뮤니티를 생성하는 데 기존 알고리즘을 능가할 수 있는가?
• RQ4 커뮤니티 크기가 탐지된 커뮤니티의 안정성과 주제 일관성에 어떤 영향을 미치는가?
• RQ5 알고리즘 과정에서 크기 제약을 통합함으로써 모듈라리티 최적화를 상당히 향상시킬 수 있는가?

주요 결과

• InfoMap은 62%의 사용자를 크기 4–150인 커뮤니티에 할당하여 희망 크기의 커뮤니티에 대한 강력한 커버리지를 보였다.
• 고유벡터 알고리즘은 93%의 커뮤니티가 크기 1–3이었으며, 이로 인해 의미 있는 커뮤니티에 할당된 사용자는 7% 미만이었다.
• CAA는 희망 크기 커뮤니티에 대해 41%의 커버리지 비율을 기록하여 패스트 그레디, 멀티레벨, 고유벡터보다 이 지표에서 뛰어난 성능을 보였다.
• CAA는 모든 알고리즘 중 가장 높은 삼각형 참여 비율(TPR)을 기록하여 뛰어난 내부 밀집도를 보였다.
• CAA가 탐지한 커뮤니티는 해시태그 유사도가 가장 높았으며, 샘플링한 50개 커뮤니티 중 10개가 공통 주제를 가진 '좋은' 커뮤니티로 분류되었다.
• InfoMap이 생성한 큰 커뮤니티(150–300명)는 주제 일관성이 떨어졌으며, #wcw와 #tbt와 같은 일반적인 해시태그가 흔했지만 주제 특이성이 없었다.