[논문 리뷰] Community Structure in Large Networks: Natural Cluster Sizes and the Absence of Large Well-Defined Clusters

Jure Leskovec, Kevin Lang외 2명|ArXiv.org|2008. 10. 08.

Complex Network Analysis Techniques참고 문헌 122인용 수 36

한 줄 요약

이 논문은 대규모 네트워크의 커뮤니티 구조를 분석하기 위해 네트워크 커뮤니티 프로필(NCP) 플롯을 도입하며, 최적의 커뮤니티(도선도수로 측정)는 약 100개 노드 이하에서만 존재하며, 이를 초과하면 점차 구조적 일관성이 떨어지고 '확산자 유사 핵심'으로 녹아들게 된다는 것을 밝혀낸다. 이 연구는 일반적으로 사용되는 네트워크 모델이 이러한 행동을 재현하지 못하는 반면, '불꽃 산불' 생성 모델은 이를 재현할 수 있음을 발견한다.

ABSTRACT

A large body of work has been devoted to defining and identifying clusters or communities in social and information networks. We explore from a novel perspective several questions related to identifying meaningful communities in large social and information networks, and we come to several striking conclusions. We employ approximation algorithms for the graph partitioning problem to characterize as a function of size the statistical and structural properties of partitions of graphs that could plausibly be interpreted as communities. In particular, we define the network community profile plot, which characterizes the "best" possible community--according to the conductance measure--over a wide range of size scales. We study over 100 large real-world social and information networks. Our results suggest a significantly more refined picture of community structure in large networks than has been appreciated previously. In particular, we observe tight communities that are barely connected to the rest of the network at very small size scales; and communities of larger size scales gradually "blend into" the expander-like core of the network and thus become less "community-like." This behavior is not explained, even at a qualitative level, by any of the commonly-used network generation models. Moreover, it is exactly the opposite of what one would expect based on intuition from expander graphs, low-dimensional or manifold-like graphs, and from small social networks that have served as testbeds of community detection algorithms. We have found that a generative graph model, in which new edges are added via an iterative "forest fire" burning process, is able to produce graphs exhibiting a network community profile plot similar to what we observe in our network datasets.

연구 동기 및 목표

• 대규모 실세계 네트워크에서 잘 정의된 커뮤니티의 천연 크기 한계를 이해하는 것.
• 기존의 네트워크 생성 모델이 대규모 네트워크에서 관측된 커뮤니티 구조를 재현하지 못하는 이유를 조사하는 것.
• 대규모 그래프에서 다양한 크기 척도에 걸쳐 커뮤니티의 품질을 평가할 수 있는 확장 가능한 방법을 개발하는 것.
• 소규모 네트워크 이론 및 확산자 그래프 이론의 가정을 도전하는 대규모 네트워크의 구조적 특성을 탐색하는 것.
• 기존의 커뮤니티 탐지 알고리즘과 근사 방법이 대규모 네트워크에서 고품질 커뮤니티를 신뢰성 있게 식별할 수 있는지 평가하는 것.

제안 방법

• 다양한 커뮤니티 크기 범위에서 가능한 최고의 도선도수 점수를 시각화하기 위해 네트워크 커뮤니티 프로필(NCP) 플롯을 제안하는 것.
• 그래프 분할 문제에 대한 근사 알고리즘을 사용하여 각 크기 척도에서 최저 도선도수 컷을 계산하는 것.
• 도선도수 측정을 통해 커뮤니티 품질을 평가하며, 낮은 도선도수일수록 더 잘 정의된 커뮤니티임을 의미한다.
• 수천 개에서 수천만 개의 노드를 포함하는 사회적, 웹, 기술적 그래프를 포함한 100개 이상의 대규모 실세계 네트워크를 분석하는 것.
• 불타는 과정을 통해 간선을 순차적으로 추가하여 커뮤니티 구조를 시뮬레이션하고 관측된 NCP 플롯 형태를 재현하는 '산불' 생성 모델을 활용하는 것.
• 실제 네트워크, 무작위 그래프 모델, 합성 네트워크 생성 모델 간의 NCP 플롯 행동을 비교하여 구조적 불일치를 식별하는 것.

실험 결과

연구 질문

• RQ1 대규모 실세계 네트워크에서 잘 정의된 커뮤니티의 천연 크기 한계는 무엇인가?
• RQ2 대규모 네트워크에서 커뮤니티 크기의 함수로서 가능한 최고의 커뮤니티 품질(도선도수 기준)은 어떻게 변화하는가?
• RQ3 왜 프리퍼런셜 애터치 또는 복사 모델과 같은 표준 네트워크 생성 모델이 대규모 네트워크에서 관측된 커뮤니티 구조를 재현하지 못하는가?
• RQ4 대규모 네트워크의 핵심부가 얼마나 깊이 중첩된 핵심-주변 구조를 보이며, 이는 커뮤니티 탐지에 어떤 영향을 미치는가?
• RQ5 간단한 생성 모델이 실세계 네트워크에서 관측된 상승하는 NCP 플롯 행동을 재현할 수 있는가?

주요 결과

• 도선도수로 측정한 최고의 커뮤니티 품질은 약 100개 노드의 커뮤니티 크기에서 최고조에 이르며, 이후 점차 악화된다.
• 약 100개 노드를 초과하는 커뮤니티들은 점차 네트워크의 확산자 유사 핵심부로 녹아들어가며, 고유한 구조적 정체성을 상실한다.
• 약 100개 노드를 초과하는 크기에서는 NCP 플롯이 상승하는 경향을 보이며, 이는 커뮤니티 크기와 최적의 커뮤니티 품질 간에 약간의 역관계가 있음을 시사한다.
• 관측된 커뮤니티 구조는 확산자 그래프, 저차원 다양체, 소월드 모델의 예상과 배치된다.
• '산불' 생성 모델은 관측된 NCP 플롯 형태를 성공적으로 재현하여, 대규모 네트워크에서 커뮤니티 형성에 대한 타당한 메커니즘을 시사한다.
• 대규모 네트워크의 핵심부는 중첩된 핵심-주변 구조를 보이며, 더 작은 커뮤니티들(‘빗자국’)이 서로 엮인 밀도 높은 핵심부에 부착되어 있다.