[논문 리뷰] Fast and Scalable Analysis of Massive Social Graphs

Xiaohan Zhao, Alessandra Sala외 2명|arXiv (Cornell University)|2011. 07. 26.

Complex Network Analysis Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 막대한 사회적 그래프에서 노드 간 거리와 최단 경로를 빠르고 스케일러블하며 정확하게 근사화할 수 있는 초구형 그래프 좌표계인 Rigel을 제안한다. 초구형 공간에 그래프를 임bedding하고 전처리 단계를 병렬화함으로써 Rigel은 거리 질의에 대해 수 마이크로초 내로 응답하며, 이전 시스템과 유사한 정확도를 유지하면서도 최단 경로 계산을 최대 18배 빠르게 수행한다.

ABSTRACT

Graph analysis is a critical component of applications such as online social networks, protein interactions in biological networks, and Internet traffic analysis. The arrival of massive graphs with hundreds of millions of nodes, e.g. social graphs, presents a unique challenge to graph analysis applications. Most of these applications rely on computing distances between node pairs, which for large graphs can take minutes to compute using traditional algorithms such as breadth-first-search (BFS). In this paper, we study ways to enable scalable graph processing on today's massive graphs. We explore the design space of graph coordinate systems, a new approach that accurately approximates node distances in constant time by embedding graphs into coordinate spaces. We show that a hyperbolic embedding produces relatively low distortion error, and propose Rigel, a hyperbolic graph coordinate system that lends itself to efficient parallelization across a compute cluster. Rigel produces significantly more accurate results than prior systems, and is naturally parallelizable across compute clusters, allowing it to provide accurate results for graphs up to 43 million nodes. Finally, we show that Rigel's functionality can be easily extended to locate (near-) shortest paths between node pairs. After a one- time preprocessing cost, Rigel answers node-distance queries in 10's of microseconds, and also produces shortest path results up to 18 times faster than prior shortest-path systems with similar levels of accuracy.

연구 동기 및 목표

• 최대 4300만 개의 노드를 가진 막대한 그래프에서 전통적인 그래프 알고리즘(BFS, Dijkstra 등)의 확장성 문제를 해결한다.
• 이전 작업(예: Orion)이 15–20%의 오차율을 보였던 것과는 달리, 그래프 좌표계의 정확도를 향상시킨다.
• 실제 도메인에 적용 가능한 공용 클러스터에서 사용할 수 있도록 효율적이고 병렬 처리 가능한 전처리 과정을 지원한다.
• 거리 근사화 외에도 정확한 최단 경로 복원을 지원할 수 있도록 좌표 기반 시스템을 확장한다.
• 대규모 그래프에서 거리 질의 및 경로 질의에 대해 저지연 응답 시간(수 마이크로초)을 달성한다.

제안 방법

• 초구형 기하학의 곡률을 활용해 그래프 거리의 왜곡을 최소화할 수 있도록 대규모 사회적 그래프를 초구형 공간에 임베딩한다.
• 컴퓨팅 클러스터를 통해 확장 가능한 분산 병렬 그래프 임베딩 알고리즘을 설계하여 수백만 개의 노드를 가진 그래프의 전처리 시간을 단축시킨다.
• 얻어진 초구형 좌표를 활용해 상수 시간 내에 노드 간 거리를 근사화하여 밀리초 이내의 질의 해결을 가능하게 한다.
• Rigel의 거리 추정치를 활용해 실제 최단 경로를 효율적으로 탐색하고 재구성하는 데 전용된 새로운 알고리즘인 Rigel Paths를 개발한다.
• 하이브리드 질의 전략을 통합: Rigel의 거리 추정치를 경로 재구성에 활용하여 높은 정확도를 유지하면서도 저지연을 확보한다.
• 실제 사회적 그래프(Facebook, Flickr, Renren 등)를 대상으로 시스템을 구현하고 평가하여 다양한 그래프 구조에서의 성능과 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 대규모 사회적 그래프에서 초구형 공간이 유클리드 공간보다 거리 근사화의 왜곡을 더 낮출 수 있는가?
• RQ2 최대 4300만 개의 노드를 가진 그래프에 대해 계산 비용이 높은 그래프 임베딩 과정을 어떻게 효과적으로 병렬화할 수 있는가?
• RQ3 그래프 좌표를 얼마나 정확하게 사용해 정확한 최단 경로를 복원할 수 있으며, 기존의 스케치 기반 또는 랜드마크 기반 경로 탐색 방법과 비교해 어떤가?
• RQ4 좌표 기반 시스템에서 전처리 비용과 질의 지연 간의 상호 교환 관계는 어떻게 되며, 밀리초 이내의 질의 성능을 달성할 수 있는가?
• RQ5 실제 생산 규모의 사회적 네트워크에서 실시간 그래프 분석에 적합한 높은 정확도와 효율성을 동시에 확보할 수 있는 좌표 체계를 설계할 수 있는가?

주요 결과

• Rigel은 이전 시스템(예: Orion)에 비해 훨씬 낮은 거리 왜곡을 달성하여, 오차율을 15–20%에서 훨씬 낮은 수준으로 낮춘다.
• 시스템은 최대 4300만 개의 노드와 10억 개 이상의 간선을 가진 그래프로 확장 가능하며, 실제 사회 네트워크 데이터셋에서의 실용성과 타당성을 입증한다.
• Rigel은 노드 간 거리 질의에 대해 10–100 마이크로초 내로 응답하여, 막대한 그래프에서도 밀리초 이내의 응답 시간을 확보한다.
• Rigel Paths는 대부분의 노드 쌍에 대해 정확한 최단 경로를 계산하며, 절대 오차가 0.3호프 이내로 유지되어 스케치 기반 방법보다 정확도가 뛰어나다.
• Rigel Paths는 TreeSketch 및 SketchCESC와 같은 최신 기술 대비 최대 18배 빠른 속도로 질의를 해결하면서도 유사하거나 더 높은 정확도를 유지한다.
• Rigel의 전처리 단계는 여러 머신에 분산 처리되어 거의 선형적인 성능 향상을 보이며, 병렬화 시 단일 서버 기반 스케치 기반 시스템보다 총 처리 시간을 충족하거나 능가한다.