[논문 리뷰] Darwini: Generating realistic large-scale social graphs

Sergey Edunov, Dionysios Logothetis외 3명|arXiv (Cornell University)|2016. 10. 03.

Complex Network Analysis Techniques참고 문헌 23인용 수 15

한 줄 요약

Darwini는 Apache Giraph를 사용하여 블록 단위의 정점 중심 방식으로 그래프를 구성함으로써 실제 사회망의 핵심 구조적 특성—특히 도수 분포, 국소 클러스터링 계수, 공동 도수 분포—를 정확하게 재현하는 확장 가능하고 오픈소스인 합성 그래프 생성기이다. 200개 노드로 구성된 클러스터에서 7시간 이내에 트리리언 엣지 그래프를 생성하며, 정확도와 확장성 면에서 기존 모델을 능가한다.

ABSTRACT

Synthetic graph generators facilitate research in graph algorithms and processing systems by providing access to data, for instance, graphs resembling social networks, while circumventing privacy and security concerns. Nevertheless, their practical value lies in their ability to capture important metrics of real graphs, such as degree distribution and clustering properties. Graph generators must also be able to produce such graphs at the scale of real-world industry graphs, that is, hundreds of billions or trillions of edges. In this paper, we propose Darwini, a graph generator that captures a number of core characteristics of real graphs. Importantly, given a source graph, it can reproduce the degree distribution and, unlike existing approaches, the local clustering coefficient and joint-degree distributions. Furthermore, Darwini maintains metrics such node PageRank, eigenvalues and the K-core decomposition of a source graph. Comparing Darwini with state-of-the-art generative models, we show that it can reproduce these characteristics more accurately. Finally, we provide an open source implementation of our approach on the vertex-centric Apache Giraph model that allows us to create synthetic graphs with one trillion edges.

연구 동기 및 목표

• 실제 사회망의 핵심 구조적 지표를 정확히 재현하는 확장 가능하고 고정밀도의 합성 그래프 생성기가 부족한 문제를 해결하기 위해.
• 기존 모델이 세밀한 클러스터링 계수 분포와 공동 도수 분포를 포착하지 못하는 한계를 극복하기 위해.
• 구조적 정확도를 유지하면서도 수조 개의 엣지를 포함하는 대규모 그래프 생성(최대 트리리언 엣지)을 가능하게 하며, 수동 파rameter 조정을 최소화하기 위해.
• Facebook의 그래프와 같은 실세계 산업 규모의 그래프를 반영하는 합성 그래프를 제공함으로써 시스템 수준의 연구 및 벤치마킹을 지원하기 위해.
• 개인정보 보호를 위한 연구를 촉진하기 위해 핵심 네트워크 특성을 유지하는 공개 가능한 합성 데이터셋을 제공하기 위해.

제안 방법

• Darwini는 스케일프리 서브그래프를 블록 방식으로 연결하여 그래프를 생성하며, BTER 모델을 영감으로 삼지만 클러스터링 계수에 대한 더 높은 제어력을 제공한다.
• 소스 그래프의 공동 도수 분포를 명시적으로 모델링하고 유지함으로써 국소 네트워크 구조의 더 정확한 표현을 가능하게 한다.
• Apache Giraph 기반의 정점 중심 접근 방식을 사용하여 일반 장비 클러스터에서 분산 및 선형 확장 가능한 생성을 실현한다.
• 소스 그래프의 기존 커뮤니티 구조를 기반으로 그래프 생성 작업을 분해함으로써 효율적인 병렬 처리와 메모리 관리를 가능하게 한다.
• 신중한 구조적 매핑을 통해 원본 그래프의 PageRank, 고유값, K-core 분해 등의 핵심 지표를 유지한다.
• 소스 그래프에서 직접 분포를 유도함으로써 모델 피팅이나 수동 파rameter 조정에 드는 비용을 피한다.

실험 결과

연구 질문

• RQ1 합성 그래프 생성기가 실제 사회망의 도수 분포, 클러스터링 계수 분포, 공동 도수 분포를 정확히 재현할 수 있는가?
• RQ2 확장 가능하고 분산된 그래프 생성기가 트리리언 엣지 그래프를 생성할 때 PageRank 및 K-core 분해와 같은 글로벌 지표를 얼마나 잘 유지하는가?
• RQ3 제안된 블록 기반 생성 방식이 실질적으로 그래프 크기와 클러스터 크기에 대해 선형 확장성을 보여주는가?
• RQ4 Darwini는 Kronecker, BTER, DK-그래프와 같은 최첨단 모델들과 비교해 대규모 그래프에서 정확도와 성능 면에서 뛰어나게 하는가?
• RQ5 이 생성기는 디스크 기반 또는 메인메모리 기반 그래프 처리 시스템의 용량 계획 수립 및 벤치마킹에 적합한 합성 그래프를 생성할 수 있는가?

주요 결과

• Darwini는 200개 노드로 구성된 클러스터에서 약 7시간 내에 1조 개의 엣지를 가진 합성 그래프를 생성하며, 그래프 크기와 클러스터 크기에 대해 선형 확장성을 입증했다.
• 하나의 부분그래프에서 검증한 결과, 생성된 그래프는 원본 Facebook 사회망 그래프의 도수 분포, 클러스터링 계수 분포, 공동 도수 분포와 밀접하게 일치한다.
• Kronecker나 BTER 모델과 달리 Darwini는 공동 도수 분포를 정확히 포착하여 이전 방법에서 관찰된 편향을 피한다.
• Darwini는 PageRank, 고유값, K-core 분해와 같은 핵심 글로벌 지표를 유지하여 국소적 특성 이상의 구조적 정확도를 확보한다.
• Apache Giraph 기반의 오픈소스 구현은 일반 장비 클러스터에서의 간편한 배포 및 사용을 가능하게 하며, 재현 가능성과 대규모 실험을 지원한다.
• 피팅이나 조정에 따른 높은 오버헤드 없이도, 특히 클러스터링과 도수 상관관계 측면에서 현실적인 네트워크 구조를 더 잘 포착함으로써 기존 모델을 능가한다.