[논문 리뷰] A Highly Scalable Labelling Approach for Exact Distance Queries in Complex Networks

Muhammad Farhan, Qing Wang외 2명|arXiv (Cornell University)|2018. 12. 06.

Graph Theory and Algorithms참고 문헌 32인용 수 4

한 줄 요약

이 논문은 100억 개 이상의 간선을 가진 복잡한 네트워크에서 정확한 거리 쿼리에 대해 매우 확장 가능한 레이블링 방법을 제안한다. 이는 새로운 하이웨이 커버 거리 레이블링 알고리즘과 희소화된 그래프에서의 거리 기반 검색을 조합한 것으로, 80억 간선 네트워크에서 1ms 이내로 쿼리를 처리하면서도 레이블링 구축 속도를 최대 70배 빠르게 하고 공간을 90% 감소시킨다. 이로 인해 이전에 볼 수 없었던 규모에서 실용적인 정확한 거리 계산이 가능해졌다.

ABSTRACT

Answering exact shortest path distance queries is a fundamental task in graph theory. Despite a tremendous amount of research on the subject, there is still no satisfactory solution that can scale to billion-scale complex networks. Labelling-based methods are well-known for rendering fast response time to distance queries; however, existing works can only construct labelling on moderately large networks (million-scale) and cannot scale to large networks (billion-scale) due to their prohibitively large space requirements and very long preprocessing time. In this work, we present novel techniques to efficiently construct distance labelling and process exact shortest path distance queries for complex networks with billions of vertices and billions of edges. Our method is based on two ingredients: (i) a scalable labelling algorithm for constructing minimal distance labelling, and (ii) a querying framework that supports fast distance-bounded search on a sparsified graph. Thus, we first develop a novel labelling algorithm that can scale to graphs at the billion-scale. Then, we formalize a querying framework for exact distance queries, which combines our proposed highway cover distance labelling with distance-bounded searches to enable fast distance computation. To speed up the labelling construction process, we further propose a parallel labelling method that can construct labelling simultaneously for multiple landmarks. We evaluated the performance of the proposed methods on 12 real-world networks. The experiments show that the proposed methods can not only handle networks with billions of vertices, but also be up to 70 times faster in constructing labelling and save up to 90\% of labelling space. In particular, our method can answer distance queries on a billion-scale network of around 8B edges in less than 1ms, on average.

연구 동기 및 목표

• 1000억 규모의 복잡한 네트워크에서 정확한 최단경로 거리 쿼리에 대해 확장 가능한 솔루션이 부족한 문제를 해결한다.
• 큰 그래프에서 기존 레이블링 방법의 제곱형 공간 복잡도와 비현실적으로 긴 사전처리 시간 문제를 해결한다.
• 레이어의 수와 선형적으로 증가하는 레이블링 알고리즘을 개발하고, 레이블 크기를 최소화한다.
• 100억 개의 정점과 간선을 가진 네트워크에서도 조건부로 1ms 이내의 빠른 일정 시간 응답을 보장하는 쿼리 응답을 가능하게 한다.
• 다양한 레이어에 걸쳐 병렬 처리가 가능한 프레임워크를 설계하여 레이블링 구축 속도를 가속화한다.

제안 방법

• 정확한 거리 쿼리에 적합한 최소 크기의 순서에 의존하지 않는 레이블을 생성하는 새로운 하이웨이 커버 거리 레이블링(HWC) 알고리즘을 제안한다.
• 희소화된 그래프에서 작동하는 거리 기반 검색 프레임워크를 도입하여 쿼리 처리 속도를 향상시킨다.
• 효율적인 2홉 레이블링 구축을 위해 스패닝 트리를 하이웨이로 사용하며, 정확한 거리 유지 보장을 한다.
• 여러 레이어를 동시에 처리하는 병렬 BFS 기반 레이블링 방법을 개발하여 사전처리 시간을 크게 단축시킨다.
• HWC 레이블링과 제한된 검색을 조합하여 정확한 거리를 신속하게 계산할 수 있는 쿼리 메커니즘을 수학적으로 정의한다.
• 정확도를 훼손하지 않으면서도 쿼리 중 검색 공간을 줄이기 위해 그래프 희소화를 적용한다.

실험 결과

연구 질문

• RQ1 레이어 기반 방법이 최소한의 레이블 크기와 빠른 쿼리 시간을 유지하면서 1000억 규모의 네트워크로도 확장 가능한가?
• RQ2 큰 그래프에서 레이블링의 구축 시간을 최소한의 레이블 크기 손실 없이 어떻게 줄일 수 있는가?
• RQ3 대규모 네트워크에서 레이어의 순서와 선택이 레이블 크기와 쿼리 성능에 미치는 영향은 무엇인가?
• RQ4 여러 레이어에 걸쳐 BFS 계산을 병렬화하면 레이블링 구축 속도를 크게 향상시킬 수 있는가?
• RQ5 그래프 희소화와 제한된 검색 기법이 대규모 네트워크에서 쿼리 효율을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 1000억 규모의 네트워크에서 최신 기술 대비 레이블링 구축 속도를 최대 70배 빠르게 한다.
• 기존 접근 방식 대비 레이블링 공간을 최대 90% 감소시켜 메모리 제약이 있는 시스템에서도 구현 가능하게 한다.
• 80억 간선 네트워크에서의 거리 쿼리는 평균적으로 1ms 이내로 처리되어 초단위 응답 시간을 달성한다.
• 레이블링 알고리즘이 레이어 순서에 영향을 받지 않는 HWC 최소 레이블을 생성하여 최적의 레이블 크기를 보장한다.
• 병렬 레이블링 프레임워크는 레이어 수에 비례하는 선형 시간으로 빌드가 가능하게 하여 1000억 규모의 그래프에서도 실현 가능하게 한다.
• 대규모 네트워크에서 이전 연구들인 FD (Hayashi 등, 2016) 및 PLL (Akiba 등, 2013)보다도 레이블링 구축 시간과 공간 효율성에서 뛰어난 성능을 보인다.