[논문 리뷰] Fast Generation of Large Scale Social Networks with Clustering

Joseph J. Pfeiffer, Timothy La Fond외 2명|arXiv (Cornell University)|2012. 02. 22.

Complex Network Analysis Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 전이성 엣지(Transitive edges)를 통합하여 실제 클러스터링을 가지며 원래의 도수 분포를 유지하는 대규모 사회망을 생성할 수 있도록 확장된 Transitive Chung Lu (TCL) 모델을 제안한다. 전이성 엣지 형성에 대한 단일 파라미터를 도입함으로써 TCL은 선형 시간 내에 빠른 학습과 생성을 달성하여, 도수 분포, 클러스터링 계수, 홉 플롯 등 실제 네트워크 특성을 재현하는 데 있어 Chung-Lu 및 Kronecker 모델을 능가한다.

ABSTRACT

A key challenge within the social network literature is the problem of network generation - that is, how can we create synthetic networks that match characteristics traditionally found in most real world networks? Important characteristics that are present in social networks include a power law degree distribution, small diameter and large amounts of clustering; however, most current network generators, such as the Chung Lu and Kronecker models, largely ignore the clustering present in a graph and choose to focus on preserving other network statistics, such as the power law distribution. Models such as the exponential random graph model have a transitivity parameter, but are computationally difficult to learn, making scaling to large real world networks intractable. In this work, we propose an extension to the Chung Lu ran- dom graph model, the Transitive Chung Lu (TCL) model, which incorporates the notion of a random transitive edge. That is, with some probability it will choose to connect to a node exactly two hops away, having been introduced to a 'friend of a friend'. In all other cases it will follow the standard Chung Lu model, selecting a 'random surfer' from anywhere in the graph according to the given invariant distribution. We prove TCL's expected degree distribution is equal to the degree distribution of the original graph, while being able to capture the clustering present in the network. The single parameter required by our model can be learned in seconds on graphs with millions of edges, while networks can be generated in time that is linear in the number of edges. We demonstrate the performance TCL on four real- world social networks, including an email dataset with hundreds of thousands of nodes and millions of edges, showing TCL generates graphs that match the degree distribution, clustering coefficients and hop plots of the original networks.

연구 동기 및 목표

• 기존 네트워크 생성기들이 대규모 사회망에서의 클러스터링을 포착하는 데에 한계가 있음을 해결하기 위해.
• Chung-Lu 모델에 전이성 엣지 형성을 통합하여 확장함으로써 스케일러비리티를 희생시키지 않은 채 클러스터링 표현을 향상시키기 위해.
• 수백만 개의 엣지를 가진 그래프에서 전이성 파라미터를 몇 초 내에 추정할 수 있는 학습 알고리즘을 개발하기 위해.
• 실제 네트워크와 유사한 도수 분포, 클러스터링, 홉 플롯을 가지는 합성 네트워크를 생성하기 위해.
• TCL 모델이 클러스터링 정밀도를 향상시키는 동안 소형 직경과 연결성을 유지하는지 확인하기 위해.

제안 방법

• 전이성 폐쇄(친구의 친구) 방식으로 엣지를 형성할 수 있는 '임의의 삼각형' 파라미터를 도입함으로써 Chung-Lu 모델을 확장한다.
• 기본적인 빠른 Chung-Lu 생성 알고리즘에서 발생하는 엣지 충돌 편향을 보완하기 위해 개선된 샘플링 절차를 적용한다.
• 관측된 네트워크로부터 전이성 파라미터를 추정하기 위해 기대최대화(EM) 알고리즘을 사용하여 빠른 파라미터 학습을 가능하게 한다.
• M개의 엣지가 존재할 때 O(M) 시간 내에 네트워크를 생성하며, 원래 Chung-Lu 모델의 효율성과 동일하다.
• 하이브리드 샘플링 전략을 활용: 확률 p로 전이 엣지를 따라 삼각형을 닫는다; 그렇지 않으면 불변 분포(랜덤 서퍼 모델)에 따라 노드를 선택한다.
• 성능 검증을 위해 Epinions, Facebook, PurdueEmail, Gnutella30 등의 실제 네트워크에 모델을 적용하여 다양한 네트워크 구조에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 확장 가능한 네트워크 생성 모델이 도수 분포를 유지하면서도 클러스터링 표현을 크게 향상시킬 수 있는가?
• RQ2 Chung-Lu 모델에 전이성 엣지 형성을 통합할 때 생성 효율성이 떨어지지 않도록 할 수 있는가?
• RQ3 단일 전이성 파라미터를 도입했을 때 합성 네트워크 생성 정확도에 어떤 영향을 미치는가?
• RQ4 TCL 모델이 Chung-Lu 및 Kronecker 곱 그래프 모델과 비교해 클러스터링과 홉 플롯을 얼마나 잘 재현하는가?
• RQ5 수백만 개의 엣지를 가진 대규모 네트워크에서 전이성 파라미터를 몇 초 내에 효율적으로 학습할 수 있는가?

주요 결과

• TCL 모델은 원래 네트워크의 기대 도수 분포를 정확히 유지하며, Chung-Lu 모델의 이론적 성질을 그대로 보존한다.
• TCL 모델은 실제 네트워크와 유사한 클러스터링 계수 분포를 생성하지만, Chung-Lu 및 Kronecker 모델은 클러스터링을 재현하지 못한다.
• TCL 모델이 생성한 네트워크의 홉 플롯은 원본 네트워크 및 표준 Chung-Lu 모델과 거의 구분되지 않으며, 연결성 또는 직경에 악영향을 주지 않음을 시사한다.
• TCL의 파라미터 추정은 수백만 개의 엣지를 가진 그래프에서 몇 초 내에 이루어지며, Kronecker 곱 그래프 모델이 소요하는 수시간과 대비된다.
• Epinions, Facebook, PurdueEmail, Gnutella30의 네 가지 실제 네트워크에서 테스트한 결과, TCL 모델은 도수 분포, 클러스터링, 홉 플롯 모두에서 Chung-Lu 및 Kronecker 모델을 능가했다.
• TCL 모델은 다양한 수준의 클러스터링을 가진 네트워크, 특히 매우 낮은 클러스터링을 가진 네트워크(예: Gnutella30)에서도 클러스터링 행동을 성공적으로 포착하여 다양한 네트워크 유형에 대한 강건성을 입증했다.