[논문 리뷰] Parallel Generation of Massive Scale-Free Graphs

Andy Yoo, K.W. Henderson|arXiv (Cornell University)|2010. 03. 18.

Complex Network Analysis Techniques참고 문헌 29인용 수 15

한 줄 요약

이 논문은 빅데이터 규모의 스케일프리 그래프(수십억 개의 정점과 간선)를 생성하기 위해 매우 확장 가능한 두 가지 병렬 알고리즘—병렬 바라바시-알버트(PBA) 및 병렬 크로네커(PK)—를 제안한다. 상호 프로세서 간 통신을 최소화하고, 선호적 연결 및 크로네커 행렬 곱셈을 활용하여 높은 병렬성을 달성하였으며, 10억 개의 정점과 50억 개의 간선을 가진 그래프를 13초 이내에 생성하여 지금까지 보고된 바 중 가장 큰 합성 스케일프리 그래프를 구현하였다.

ABSTRACT

One of the biggest huddles faced by researchers studying algorithms for massive graphs is the lack of large input graphs that are essential for the development and test of the graph algorithms. This paper proposes two efficient and highly scalable parallel graph generation algorithms that can produce massive realistic graphs to address this issue. The algorithms, designed to achieve high degree of parallelism by minimizing inter-processor communications, are two of the fastest graph generators which are capable of generating scale-free graphs with billions of vertices and edges. The synthetic graphs generated by the proposed methods possess the most common properties of real complex networks such as power-law degree distribution, small-worldness, and communities-within-communities. Scalability was tested on a large cluster at Lawrence Livermore National Laboratory. In the experiment, we were able to generate a graph with 1 billion vertices and 5 billion edges in less than 13 seconds. To the best of our knowledge, this is the largest synthetic scale-free graph reported in the literature.

연구 동기 및 목표

• 대규모 그래프 알고리즘의 테스트 및 개발을 위한 큰 크기이면서도 현실적인 입력 그래프의 부족 문제를 해결하기 위해.
• 수십억 개의 정점과 간선으로 확장되지 못하는 순차적 그래프 생성 모델의 한계를 극복하기 위해.
• 대규모 분산 클러스터에서 높은 확장성을 달성하기 위해 상호 프로세서 간 통신을 최소화하는 병렬 그래프 생성 알고리즘을 설계하기 위해.
• 힘의 법칙에 따른 차수 분포, 소월드 성질, 공동체 내 공동체 구조 등 현실 세계의 복잡한 네트워크의 핵심 성질을 재현하는 합성 그래프를 생성하기 위해.
• 실제 시간 제약 조건 내에서 지금까지 보고된 바 중 가장 큰 합성 스케일프리 그래프를 생성할 수 있는 가능성을 입증하기 위해.

제안 방법

• 하나의 정점에서 시작하여 선호적 연결을 두 단계로 나누어 반복적으로 확장하는 병렬 바라바시-알버트(PBA) 방법을 제안하여, 하향식 방식으로 스케일프리 그래프를 고병렬성으로 생성한다.
• 시드 그래프를 기반으로 크로네커 행렬 곱셈을 반복적으로 적용하여 그래프를 재귀적으로 구성하는 병렬 크로네커(PK) 방법을 개발하여, 매우 간단한 병렬 처리를 가능하게 한다.
• 모든 알고리즘에서 상호 프로세서 간 통신을 최소화하여 대규모 분산 클러스터에서의 높은 확장성을 확보한다.
• PK 방법에서 작은 크기의 시드 그래프(예: 2×2 또는 3×3)를 사용하여 반복적인 크로네커 곱셈을 통해 대규모 그래프를 생성한다.
• 성능 평가 중 계산 오버헤드를 줄이기 위해 경로 길이와 지름을 추정하기 위해 샘플링 기법을 적용한다.
• 접속 행렬 표현을 사용하여 커뮤니티 구조를 시각화하여 생성된 그래프의 모듈래리티와 자기 유사성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 상호 프로세서 간 통신을 최소화하면서도, 수십억 개의 정점과 간선으로 확장 가능한 병렬 그래프 생성 알고리즘을 설계할 수 있는가?
• RQ2 PBA 및 PK 방법으로 생성된 합성 그래프가 현실 세계의 복잡한 네트워크의 핵심 구조적 성질인 힘의 법칙에 따른 차수 분포와 소월드 성질을 잘 재현하는가?
• RQ3 시드 그래프의 선택이 크로네커 기반 그래프 생성 방법의 구조적 성질과 확장성에 어떤 영향을 미치는가?
• RQ4 제안된 병렬 알고리즘이 기존의 순차적 모델보다 더 빠르게 그래프를 생성할 수 있으며, 대규모 클러스터에서 도달 가능한 최대 생성 속도는 얼마인가?
• RQ5 PBA 및 PK 방법이 현실 세계 네트워크와 유사한 계층적 공동체 구조를 얼마나 잘 생성하는가?

주요 결과

• 제안된 병렬 그래프 생성기는 라랑스 린내이 국립연구소의 대규모 클러스터에서 13초 미만으로 10억 개 이상의 정점과 50억 개 이상의 간선을 생성하는 최고의 생성 속도를 기록하였다.
• PBA 및 PK 방법으로 생성된 합성 그래프는 모두 힘의 법칙에 따른 차수 분포를 보이며, 스케일프리 성질을 확인하였다.
• PBA 및 PK 그래프 모두 소월드 성질을 보였으며, 평균 경로 길이가 각각 약 6.26과 3.20이며, 지름은 각각 12와 5로, 정점 간의 일반적인 거리가 짧음을 나타내었다.
• PK 그래프는 크로네커 행렬 곱셈의 프랙탈 성질 덕분에 더 규칙적이고 자기 유사적인 공동체 구조를 보였고, PBA 그래프는 덜 규칙적이지만 여전히 식별 가능한 공동체를 보였다.
• PK 방법은 매우 간단한 병렬 처리 설계 덕분에 더 높은 병렬성을 달성하였고, PBA 방법은 정점 차수 분포와 같은 그래프 성질을 제어하기 위해 더 높은 설정 유연성을 제공하였다.
• PBA 방법은 PK 방법보다 느리지만, 원하는 구조적 특성을 가진 그래프를 생성하기 위해 더 유연한 성능을 보였다.