[논문 리뷰] Structure and Overlaps of Communities in Networks

Jaewon Yang, Jure Leskovec|arXiv (Cornell University)|2012. 05. 28.

Complex Network Analysis Techniques참고 문헌 24인용 수 44

한 줄 요약

이 논문은 실세계 네트워크의 조밀한 겹치는 구조를 이원 그래프를 통해 노드-커뮤니티 소속 관계를 모델링하는 생성 모델인 커뮤니티-소속 그래프 모델(AGM)을 소개한다. 이 모델은 전통적인 가정과는 반대로, 겹치는 부분이 비겹치는 부분보다 더 조밀하게 연결되어 있음을 드러내며, 실세계 네트워크의 특성(도수 분포 및 군집 계수 등)을 재현하는 데 있어 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

One of the main organizing principles in real-world social, information and technological networks is that of network communities, where sets of nodes organize into densely linked clusters. Even though detection of such communities is of great interest, understanding the structure communities in large networks remains relatively limited. Due to unavailability of labeled ground-truth data it is practically impossible to evaluate and compare different models and notions of communities on a large scale. In this paper we identify 6 large social, collaboration, and information networks where nodes explicitly state their community memberships. We define ground-truth communities by using these explicit memberships. We then empirically study how such ground-truth communities emerge in networks and how they overlap. We observe some surprising phenomena. First, ground-truth communities contain high-degree hub nodes that reside in community overlaps and link to most of the members of the community. Second, the overlaps of communities are more densely connected than the non-overlapping parts of communities, in contrast to the conventional wisdom that community overlaps are more sparsely connected than the communities themselves. Existing models of network communities do not capture dense community overlaps. We present the Community-Affiliation Graph Model (AGM), a conceptual model of network community structure, which reliably captures the overall structure of networks as well as the overlapping nature of network communities.

연구 동기 및 목표

• 커뮤니티 소속이 명시적으로 정의된 대규모 네트워크를 식별하여 커뮤니티 구조에 대한 경험적 연구를 가능하게 하기 위해.
• 기본 커뮤니티의 구조적 특성, 특히 커뮤니티 겹침의 성격과 연결성에 대해 조사하기 위해.
• 기존의 가정과는 반대로, 겹침이 비겹치는 부분보다 덜 조밀하다는 가정을 경험적으로 뒷받침하여, 겹침이 더 조밀하게 연결되어 있음을 입증하기 위해.
• 실제 네트워크에서 관찰된 커뮤니티 구조와 겹침 패턴을 정확히 재현할 수 있는 생성 모델을 개발하기 위해.
• 실세계 네트워크에서의 기초 데이터를 활용하여 커뮤니티 탐지 알고리즘 평가를 위한 신뢰할 수 있는 벤치마크를 제공하기 위해.

제안 방법

• 노드가 커뮤니티 소속을 명시적으로 기재한 대규모 네트워크 6개(LiveJournal, Friendster, Orkut, DBLP, IMDB, Amazon)를 식별하여 기초 커뮤니티를 설정한다.
• 한 쪽에는 노드, 다른 쪽에는 커뮤니티를 두고, 간선이 소속 관계를 나타내는 이원 그래프를 사용하여 커뮤니티 소속을 모델링한다.
• 두 노드 간 간선 존재 확률을 공유하는 커뮤니티 수의 함수로 정의하며, 다양한 겹침 구조를 수용할 수 있도록 확률적 수식을 사용한다.
• 실제 네트워크의 커뮤니티 구조와 겹침 패턴을 갖는 합성 네트워크를 생성할 수 있는 커뮤니티-소속 그래프 모델(AGM)을 제안한다.
• 식별 2의 가능도 함수를 사용하여 모델 파라미터를 추정하며, 커뮤니티 소속 확률 및 간선 형성 확률을 포함한다.
• 도수 분포, 군집 계수, 고유값 분포 등의 주요 네트워크 특성에 대해 콜모고로프-스미르노프(Kolmogorov-Smirnov, KS) 통계량과 같은 통계적 지표를 사용하여 AGM을 LFR 벤치마크와 비교 평가한다.

실험 결과

연구 질문

• RQ1 실세계 네트워크의 기초 커뮤니티들은 내부 연결성과 겹침 측면에서 어떻게 상호 구조적으로 다를까?
• RQ2 커뮤니티 겹침은 비겹치는 부분보다 더 조밀하게 연결되어 있는가, 아니면 덜 조밀한가?
• RQ3 관찰된 커뮤니티 겹침의 조밀한 연결성을 설명할 수 있는 기초 생성 과정은 무엇인가?
• RQ4 실제 네트워크에서 관찰된 경험적 커뮤니티 구조와 겹침 패턴을 정확히 재현할 수 있는 생성 모델을 구축할 수 있는가?
• RQ5 제안된 AGM 모델은 LFR과 같은 기존의 벤치마크에 비해 실세계 네트워크 특성을 얼마나 잘 재현하는가?

주요 결과

• 실세계 네트워크의 기초 커뮤니티에는 고도수 허브 노드가 존재하며, 이는 주로 커뮤니티 겹침 영역에 위치해 있고 커뮤니티 대부분의 구성원과 연결되어 있다.
• 기존의 통념과는 반대로, 커뮤니티 겹침 영역은 비겹치는 부분보다 더 조밀하게 연결되어 있으며, 겹침 영역의 연결성은 비겹침 영역을 초월한다.
• AGM 모델은 커뮤니티 탐지 성능에서 LFR 벤치마크 대비 60%의 상대적 향상을 달성하여, 실제 커뮤니티 구조를 더 잘 반영하고 있음을 시사한다.
• AGM은 6개의 네트워크 특성 중 5개에서 LFR를 능가한다: 도수 분포에 대해 9% 더 나은 적합도, 군집 계수에 대해 221% 향상, 삼중군 참여도에 대해 120% 향상, 고유값 분포에 대해 122% 향상.
• AGM는 실세계 네트워크 특성을 밀도 있게 재현하며, 평균 KS-통계량 차이를 통해 AGM이 모든 평가된 특성에서 LFR를 능가함을 보여주지만, 고유벡터에서는 LFR가 17% 더 우수하다.
• AGM는 커뮤니티 탐지에 실용적인 벤치마크를 제공하며, 실세계 네트워크의 기초 데이터를 활용하여 새로운 알고리즘의 신뢰성 있는 평가가 가능하게 한다.