[논문 리뷰] HyperANF: Approximating the Neighbourhood Function of Very Large Graphs on a Budget

Paolo Boldi, Marco Rosa외 1명|arXiv (Cornell University)|2010. 11. 25.

Complex Network Analysis Techniques인용 수 12

한 줄 요약

HyperANF는 대규모 그래프의 이웃 함수를 근사하기 위해 HyperLogLog 카운터와 브로드워드 프로그래밍을 사용하는 매우 확장 가능한 알고리즘을 소개한다. 이로 인해 표준 워크스테이션에서 수시간 내에 10억 노드 그래프에서 효과적 직경과 새로운 구조적 지표인 spid(최단경로 분산 지수)를 정확하게 계산할 수 있게 되었으며, 이 지표는 사회적 네트워크와 웹 그래프를 신뢰성 있게 구분할 수 있다.

ABSTRACT

The neighbourhood function N(t) of a graph G gives, for each t, the number of pairs of nodes <x, y> such that y is reachable from x in less that t hops. The neighbourhood function provides a wealth of information about the graph (e.g., it easily allows one to compute its diameter), but it is very expensive to compute it exactly. Recently, the ANF algorithm (approximate neighbourhood function) has been proposed with the purpose of approximating NG(t) on large graphs. We describe a breakthrough improvement over ANF in terms of speed and scalability. Our algorithm, called HyperANF, uses the new HyperLogLog counters and combines them efficiently through broadword programming; our implementation uses overdecomposition to exploit multi-core parallelism. With HyperANF, for the first time we can compute in a few hours the neighbourhood function of graphs with billions of nodes with a small error and good confidence using a standard workstation. Then, we turn to the study of the distribution of the shortest paths between reachable nodes (that can be efficiently approximated by means of HyperANF), and discover the surprising fact that its index of dispersion provides a clear-cut characterisation of proper social networks vs. web graphs. We thus propose the spid (Shortest-Paths Index of Dispersion) of a graph as a new, informative statistics that is able to discriminate between the above two types of graphs. We believe this is the first proposal of a significant new non-local structural index for complex networks whose computation is highly scalable.

연구 동기 및 목표

• 정확하게 계산하기에는 계산 비용이 지나치게 높기 때문에, 매우 큰 그래프의 이웃 함수를 확장 가능하고 효율적인 방법으로 근사화하는 것.
• 고급 확률적 카운팅과 저수준 최적화를 통해 메모리 사용량을 줄이고 속도를 향상시켜 ANF 알고리즘을 개선하는 것.
• 표준 하드웨어를 사용하여 10억 개 이상의 노드를 가진 그래프에서 효과적 직경 및 관련 지표를 계산할 수 있도록 하는 것.
• 최단경로 거리의 분산에 기반하여 사회적 네트워크와 웹 그래프를 구분할 수 있는 새로운 구조적 지표인 spid(최단경로 분산 지수)를 식별하고 검증하는 것.
• 재현 가능한 연구와 대규모 분석을 위해 WebGraph 프레임워크 내에서 자유롭게 이용 가능한 고성능 구현을 제공하는 것.

제안 방법

• O(n log n)의 메모리 사용량을 가진 ANF 대비 O(n log log n)로 줄이기 위해, t 스텝 이내로 도달 가능한 고유 노드 수를 추정하기 위해 HyperLogLog 카운터를 사용한다.
• 각 노드의 HyperLogLog 카운터를 병렬로 효율적으로 통합하기 위해 브로드워드 프로그래밍을 활용하여 압축된 카운터 표현에서 워드 단위 연산을 빠르게 수행한다.
• 다중 코어 병렬 처리를 활용하기 위해 작업 분해를 적용하여 도달 가능성 집합 계산을 이용 가능한 CPU 코어에 분배한다.
• HyperLogLog의 확률적 성질을 활용해 모든 근사치에 통계적 신뢰구간을 유지함으로써 신뢰성을 확보한다.
• 각 노드가 이웃 노드에게 자신의 현재 도달 가능성 추정치를 전파하고, 카운터 업데이트를 통해 각 노드 주변의 '공'의 확장을 추적하는 시스톨릭적 반복 계산 방식을 적용한다.
• 최종적으로 도달 가능한 노드 쌍 간의 거리 분포를 사용하여 분산 지수(spider)를 계산하며, 이는 새로운 글로벌 네트워크 지표이다.

실험 결과

연구 질문

• RQ1 확률적 카운팅을 사용하여, 10억 노드 그래프의 이웃 함수를 높은 정확도와 낮은 메모리 사용량으로 근사할 수 있는가?
• RQ2 사회적 네트워크와 웹 그래프 간의 최단경로 거리 분포는 어떻게 다를 수 있으며, 이를 단일 확장 가능한 지표로 정량화할 수 있는가?
• RQ3 spid(최단경로 분산 지수)는 사회적 네트워크와 웹 그래프를 신뢰성 있게 구분할 수 있는 비국소적 구조적 지표로 활용될 수 있는가?
• RQ4 HyperANF는 대규모 그래프에서 ANF 및 HADI와 비교해 성능과 메모리 효율성이 어떻게 뛰어나게 되는가?
• RQ5 유 directed 그래프를 대칭화하면, 거리 분포 및 spid 측면에서 기저 구조적 성질이 왜곡되는가?

주요 결과

• 표준 워크스테이션(128GB RAM)에서 HyperANF는 10억 개 이상의 노드를 가진 그래프의 이웃 함수를 수시간 내에 높은 정밀도와 통계적 신뢰구간을 확보하며 계산한다.
• ANF의 O(n log n)에서 HyperANF는 O(n log log n)로 메모리 사용량을 감소시켜, ANF의 실용적 한계를 훨씬 초월한 그래프 확장성을 가능하게 한다.
• HADI(맵리듀스 기반 ANF 구현)보다 뛰어난 성능을 보이며, 20억 개의 링크를 가진 크로네커 그래프에서 랩탑에서 15분 이내에 동일한 기능을 수행했고, 이는 90개의 슈퍼컴퓨터 노드에서 30분이 걸리는 데 비해 빠른 성능을 보였다.
• spid 지표는 사회적 네트워크(낮은 분산)와 웹 그래프(높은 분산)를 성공적으로 구분하며, 그래프 크기나 조밀함과의 상관관계가 없다.
• 웹 그래프의 거대 컴포넌트의 spid는 전체 그래프와 거의 동일하여, 샘플링 오차나 크롤러 편향에 대해 강건함을 보였다.
• 유 directed 그래프를 대칭화하면 평균 거리와 spid가 극적으로 감소하여, 이러한 전처리 과정이 의미 있는 구조적 정보를 파괴하므로 네트워크 분석에서는 피해야 한다.