[논문 리뷰] Distributed Algorithms for Directed Betweenness Centrality and All Pairs Shortest Paths

Matteo Pontecorvi, Vijaya Ramachandran|arXiv (Cornell University)|2018. 05. 21.

Distributed systems and fault tolerance참고 문헌 23인용 수 11

한 줄 요약

이 논문은 CONGEST 모델 내에서 방향성 그래프에서 중심성 중심도(BC)와 전쌍 최단경로(APSP)를 계산하기 위한 첫 번째 효율적인 분산 알고리즘을 제시한다. 무게 없는 방향성 그래프와 가중 방향 비순환 그래프(DAG)에 대해 O(n)-라운드 알고리즘을 도입하며, 메시지 전달과 라운드 복잡도를 최적화하기 위해 글로벌 지연 파이프라인 기법을 활용한다. 이는 이전 작업에 비해 라운드 수와 메시지 수 양면에서 크게 향상시킨다.

ABSTRACT

The betweenness centrality (BC) of a node in a network (or graph) is a measure of its importance in the network. BC is widely used in a large number of environments such as social networks, transport networks, security/mobile networks and more. We present an O(n)-round distributed algorithm for computing BC of every vertex as well as all pairs shortest paths (APSP) in a directed unweighted network, where n is the number of vertices and m is the number of edges. We also present O(n)-round distributed algorithms for computing APSP and BC in a weighted directed acyclic graph (dag). Our algorithms are in the Congest model and our weighted dag algorithms appear to be the first nontrivial distributed algorithms for both APSP and BC. All our algorithms pay careful attention to the constant factors in the number of rounds and number of messages sent, and for unweighted graphs they improve on one or both of these measures by at least a constant factor over previous results for both directed and undirected APSP and BC.

연구 동기 및 목표

• 방향성 그래프에서 중심성 중심도(BC)와 전쌍 최단경로(APSP)를 효율적으로 계산하는 분산 알고리즘을 설계하는 것. 이 분야는 이전 연구가 제한적이었다.
• 특히 방향성 및 가중 그래프에서, 커뮤니케이션 라운드 수와 총 전송 메시지 수를 최소화하는 것.
• 다중 소스에 걸쳐 최단경로 계산을 조율되고 라운드 최적화된 방식으로 효율적인 파이프라인 전달을 가능하게 하는 기법을 개발하는 것.
• 기존에 다루지 않은 과제였던, 가중 방향 비순환 그래프(DAG)에서 APSP와 BC에 대한 첫 번째 비자명한 분산 알고리즘을 제공하는 것.
• 무게 없는 그래프에서 기존의 분산 BC 및 APSP 알고리즘보다 적어도 상수 요소만큼 라운드 복잡도와 메시지 복잡도를 향상시키는 것.

제안 방법

• 각 소스가 자신의 ID와 노드 레벨(소스로부터의 거리)에 기반해 고유한 절대 시간에 단일 소스 최단경로(SSSP) 계산을 시작하는 글로벌 지연 파이프라인 기법을 사용한다.
• 가중 방향 비순환 그래프(DAG)에서 위상 정렬을 활용하여 최단경로 거리 및 경로 수 메시지의 전파를 일관되고 의존성 인식된 순서로 보장한다.
• 각 노드 y에서 들어오는 이웃 u로부터의 값을 집계하여 δ(x,y)와 σxy를 계산한다. 여기서 δ(x,u) + w(u,y) = δ(x,y)를 만족한다.
• BC의 누적 단계를 역순 라운드 번호로 스케줄링한다: 각 쌍 (x,y)에 대해 누적은 시간 A_xy = 2n - τ_xy에 발생하며, 이는 모든 후속 노드가 기여를 보낸 후임을 보장한다.
• CONGEST 모델의 메시지 크기 제한(O(log n) 비트)를 활용하여 확장성과 혼잡도 제어를 확보하면서도 정확성을 유지한다.
• SSSP와 BC 계산을 하나의 프레임워크에 통합한다: 먼저 파이프라인 SSSP 전파를 통해 APSP를 계산하고, 이를 바탕으로 BC 계산을 위해 역방향 누적을 수행한다.

실험 결과

연구 질문

• RQ1 CONGEST 모델에서 방향성 그래프에 대해 BC와 APSP에 대한 효율적인 분산 알고리즘을 설계할 수 있는가? 이 분야에 이전 연구가 제한적이었다.
• RQ2 다중 소스에 걸쳐 파이프라인 메시지 전달을 어떻게 조율하여 방향성 그래프에서 라운드 복잡도를 최소화할 수 있는가?
• RQ3 가중 DAG에서 APSP와 BC에 대해 달성 가능한 최소 라운드 복잡도는 무엇이며, 제한된 메시지 수로 이를 달성할 수 있는가?
• RQ4 무게 없는 그래프에 대해 개발된 기법을 가중 DAG로 확장할 수 있으며, 성능 보장이 있는가?
• RQ5 글로벌 지연 파이프라인은 분산 최단경로 및 중심도 계산에서 라운드 복잡도와 메시지 복잡도를 어느 정도 감소시킬 수 있는가?

주요 결과

• 무게 없는 방향성 그래프에서 BC 알고리즘은 2n + O(D) 라운드 내에 계산되며, 최대 2mn + 2m개의 메시지를 전송한다. 여기서 D는 방향 직경이다.
• 무게 없는 그래프에서 APSP 하위 구성 요소는 n + O(D) 라운드 내에 실행되며, 최대 mn + 2m개의 메시지를 전송한다. 이는 이전 결과에 비해 양면에서 상수 요소만큼 향상되었다.
• 가중 DAG에서는 APSP 알고리즘이 n + O(L) 라운드 내에 실행되고, BC 알고리즘은 2n + O(L) 라운드 내에 실행된다. 여기서 L은 어떤 소스에서나 가장 긴 경로의 길이다.
• 제안된 알고리즘은 가중 DAG에서 APSP와 BC에 대한 첫 번째 비자명한 분산 솔루션이며, 분산 그래프 알고리즘 분야의 중요한 격차를 메운다.
• D-Galois 플랫폼에서의 구현을 통해 BC 알고리즘이 이전의 고성능 분산 BC 구현보다 뛰어난 성능을 보였다.
• 글로벌 지연 파이프라인의 사용은 메시지 충돌 없이 다수의 소스 간 조율을 가능하게 하여, 라운드 복잡도와 메시지 복잡도를 모두 감소시킨다.