[논문 리뷰] In-Core Computation of Geometric Centralities with HyperBall: A Hundred Billion Nodes and Beyond

Paolo Boldi, Sebastiano Vigna|arXiv (Cornell University)|2013. 08. 09.

Complex Network Analysis Techniques참고 문헌 20인용 수 12

한 줄 요약

HyperBall은 2 TiB의 RAM만을 사용하여 최대 1000억 개 노드를 가진 그래프에서 핵심 메모리 내에서 기하 중심성(예: 조화 중심성 및 밀도 중심성)을 근사적으로 계산할 수 있도록 한다. HyperLogLog 카운터, 압축된 그래프 표현 방식, 그리고 압축된 데이터 구조를 활용하여 Hadoop 기반 방법 대비 150배 빠른 성능을 달성하고 코어 수에 따라 선형적으로 확장되며, ClueWeb09과 같은 실제 대규모 그래프에서 정확하고 고성능의 분석을 가능하게 한다.

ABSTRACT

Given a social network, which of its nodes are more central? This question has been asked many times in sociology, psychology and computer science, and a whole plethora of centrality measures (a.k.a. centrality indices, or rankings) were proposed to account for the importance of the nodes of a network. In this paper, we approach the problem of computing geometric centralities, such as closeness and harmonic centrality, on very large graphs; traditionally this task requires an all-pairs shortest-path computation in the exact case, or a number of breadth-first traversals for approximated computations, but these techniques yield very weak statistical guarantees on highly disconnected graphs. We rather assume that the graph is accessed in a semi-streaming fashion, that is, that adjacency lists are scanned almost sequentially, and that a very small amount of memory (in the order of a dozen bytes) per node is available in core memory. We leverage the newly discovered algorithms based on HyperLogLog counters, making it possible to approximate a number of geometric centralities at a very high speed and with high accuracy. While the application of similar algorithms for the approximation of closeness was attempted in the MapReduce framework, our exploitation of HyperLogLog counters reduces exponentially the memory footprint, paving the way for in-core processing of networks with a hundred billion nodes using "just" 2TiB of RAM. Moreover, the computations we describe are inherently parallelizable, and scale linearly with the number of available cores.

연구 동기 및 목표

• 최대 1000억 개 노드를 가진 그래프에서 핵심 메모리 내 정확한 기하 중심성 계산을 가능하게 하기 위해.
• 대규모이거나 분리된 그래프에서 전형적인 전쌍 최단경로 또는 BFS 기반 중심성 계산의 메모리 및 확장성 한계를 극복하기 위해.
• 대규모 그래프에서 중심성 근사 계산을 위한 MapReduce 기반 접근 방식에 비해 고정밀도, 저메모리 소비 대안을 제공하기 위해.
• 표준 워크스테이션을 사용하여 ClueWeb09 및 위키백과와 같은 실제 그래프에서 선형 확장성과 고성능을 입증하기 위해.
• 최소한의 메모리 오버헤드로 가중치가 있는 그래프까지도 이론적으로 확장 가능하도록 하기 위해.

제안 방법

• 모든 노드의 반경(지정된 거리 이내의 노드) 크기를 추정하기 위해 HyperLogLog 카운터를 사용하여 거리 기반 중심성의 효율적 근사를 가능하게 한다.
• 반경 순차 스캔 기반의 반유량 그래프 접근 모델을 가정하며, 각 노드에 대해 핵심 메모리에 약 수십 바이트만 유지한다.
• 메모리 매핑된 디스크 기반 그래프 저장소를 효율적으로 관리하기 위해 압축된 그래프 표현 방식과 압축된 데이터 구조를 통합한다.
• HyperLogLog 카운터의 통계적 성질을 활용하여 높은 정확도와 낮은 분산으로 도달 가능한 노드 수를 추정한다.
• 알고리즘은 본질적으로 병렬 가능하며, 각 노드의 계산은 상호 독립적이며 여러 코어에 걸쳐 확장 가능하다.
• 가중치가 있는 그래프의 경우, 간선 가중치를 거리 분포의 일부로 간주함으로써 HyperLogLog 추정을 최소한의 정밀도 손실로 확장한다.

실험 결과

연구 질문

• RQ1 최대 1000억 개 노드를 가진 그래프에서 핵심 메모리만을 사용하여 기하 중심성을 정확하고 효율적으로 계산할 수 있는가?
• RQ2 HyperBall의 성능와 정확도는 중심성 근사 계산을 위한 Hadoop 기반 MapReduce 구현과 비교해 볼 때 어떻게 되는가?
• RQ3 HyperLogLog 카운터의 사용이 중심성 추정의 정확도를 유지하면서 얼마나 메모리 사용량을 줄이는가?
• RQ4 가용 CPU 코어 수에 따라 이 방법이 대규모 그래프에서 선형적으로 확장되는가?
• RQ5 이 프레임워크는 공간과 정확도 비용을 거의 들이지 않고 가중치가 있는 그래프를 처리할 수 있도록 확장될 수 있는가?

주요 결과

• 50台의 머신을 사용한 Hadoop 기반 구현 대비 HyperBall은 150배 빠른 성능을 기록했으며, 32코어 워크스테이션은 Hadoop 클러스터를 150배 이상 뛰어넘는 성능을 보였다.
• 8코어 맥북 프로에서도 HyperBall은 Hadoop 기반 방법보다 50배 더 빠른 성능을 보여, 소비자용 하드웨어에서도 뛰어난 성능을 입증했다.
• 중심성 추정의 평균 상대 오차는 HyperLogLog 카운터의 이론적 예측값과 거의 일치했으며, 실제로는 훨씬 낮은 편이었다.
• 핵심 도달 가능한 노드 수 추정은 거대한 강하게 연결된 성분 내에서 높은 중복도로 인해 분산이 감소했으며, 전체 노드의 89%가 동일한 핵심 도달 가능한 집합을 공유했다.
• 1에서 32코어까지의 코어 수에 따라 아크당 처리 시간이 거의 일정했으며, 이는 거의 완벽한 선형 확장성을 의미한다. 32코어에서 30% 증가한 것은 캐싱 효과로 인한 것으로 보인다.
• ClueWeb09(48억 개 노드)에서 HyperBall은 875 GiB의 메모리와 HyperLogLog 카운터당 256개의 레지스터를 사용하여 200회 반복 계산을 422분 만에 완료했으며, 정밀도 증가에 따라 성능이 선형을 초월해 확장되는 것으로 나타났다.