[논문 리뷰] Graph connectivity in log-diameter steps using label propagation.

Paul Burkhardt|arXiv (Cornell University)|2018. 08. 20.

Distributed systems and fault tolerance인용 수 5

한 줄 요약

이 논문은 포인터 추적 없이 PRAM, Stream, MapReduce 모델에서 그래프 연결성을 O(log D) 단계 내에 달성하는 결정적 레이블 전파 프레임워크를 제안한다. 이는 가장 빠른 PRAM 알고리즘의 효율성을 따라가며 간단하고 확장 가능하며 분산 및 스트리밍 시스템에 적합한 최초의 방법이다.

ABSTRACT

The fastest deterministic algorithms for connected components take logarithmic time and perform superlinear work on a PRAM. These algorithms require pointer-chasing operations and are limited to shared-memory systems. Another popular method is `leader contraction' where non-leader vertices are contracted to adjacent leaders. The challenge is to select a constant fraction of leaders that are adjacent to a constant fraction of non-leaders with high probability. Instead we investigate whether simple label propagation can be as efficient as the fastest known algorithms for graph connectivity. Label propagation exchanges representative labels within a component. This is attractive for other models because it is deterministic and does not rely on pointer-chasing, but it is inherently difficult to complete in a sublinear number of steps. We are able to solve the problems with label propagation for graph connectivity. We introduce a simple framework for deterministic graph connectivity in log-diameter steps using label propagation that is easily translated to other computational models. We present new algorithms in PRAM, Stream, and MapReduce. Given a simple, undirected graph $G=(V,E)$ with $n=|V|$ vertices, $m=|E|$ edges, and $D$ diameter, all our algorithms complete in $O(\log D)$ steps without pointer operations. We give the first label propagation algorithms that are competitive with the fastest PRAM algorithms, achieving $O(\log D)$ time and $O((m+n)\log D)$ work with $O(m+n)$ processors. Our main contribution is in Stream and MapReduce models. We give an efficient Stream-Sort algorithm that takes $O(\log D)$ passes and $O(\log n)$ memory, and a MapReduce algorithm taking $O(\log D)$ rounds and $O((m+n)\log D)$ communication overall. These are the first $O(\log D)$-step graph connectivity algorithms in Stream and MapReduce models that are also deterministic and simple to implement.

연구 동기 및 목표

• 복잡한 포인터 추적 연산에 의존하는 기존 PRAM 알고리즘의 결정적이고 포인터 없는 대안을 개발하기 위해.
• 레이블 전파가 하위선형 단계 내에 완료되는 데에 내재된 곤란함을 극복하기 위해 효율적인 레이블 수렴을 위한 새로운 프레임워크를 도입하기 위해.
• 이전에 결정적인 솔루션이나 느리거나 복잡한 경우가 많았던 스트리밍 및 분산 모델(Stream 및 MapReduce)에서 효율적인 그래프 연결성을 가능하게 하기 위해.
• 가장 빠른 알려진 PRAM 알고리즘과 유사한 작업 효율성을 달성하면서도 다양한 모델 간의 단순성과 이식 가능성을 유지하기 위해.

제안 방법

• 연결된 컴포넌트 내에서 구성 요소 대표 레이블을 결정적으로 교환하는 레이블 전파 프레임워크를 도입하기 위해.
• 리더가 컴포넌트를 통해 효율적으로 레이블을 전파할 수 있도록 보장하는 계층적 레이블 전략을 사용하기 위해.
• 모든 프로세서당 O(log n) 메모리 유지하면서 단계를 거쳐 간선을 처리하는 Stream-Sort 알고리즘을 설계하기 위해.
• O(log D) 라운드 내에 완료되며 총 통신량이 O((m+n)log D)인 MapReduce 알고리즘을 개발하기 위해.
• 로컬 레이블 교환과 레이블 합의를 통한 컴포넌트 압축에 의존하여 포인터 추적을 제거하기 위해.
• 임의의 직경 D를 가진 그래프에 대해 O(log D) 단계 내에 레이블이 수렴하는 것을 보장함으로써 정확성과 종료 보장을 확보하기 위해.

실험 결과

연구 질문

• RQ1 레이블 전파가 가장 빠른 알려진 PRAM 알고리즘의 성능에 도달할 수 있을 정도로 효율적으로 만들 수 있는가?
• RQ2 포인터 추적 없이 O(log D) 단계 내에 완료되는 결정적 레이블 전파 알고리즘을 설계할 수 있는가?
• RQ3 레이블 전파 프레임워크를 스트리밍 및 MapReduce 모델에서 최소한의 메모리와 통신으로 효율적으로 작동하도록 적응시킬 수 있는가?
• RQ4 분산 및 스트리밍 환경에서 레이블 전파가 정확한 연결성을 달성하기 위해 필요한 최소한의 단계 또는 라운드 수는 얼마인가?
• RQ5 레이블 전파를 다양한 계산 모델에서 단순하고 확장 가능하게 만들면서도 이론적 효율성을 유지할 수 있는가?

주요 결과

• 제안된 프레임워크는 PRAM에서 O(log D) 시간 복잡도와 O((m+n)log D) 작업량, O(m+n) 프로세서를 사용하며, 가장 잘 알려진 결정적 PRAM 알고리즘과 동일한 성능을 달성한다.
• 모든 프로세서당 O(log n) 메모리만 사용하는 첫 번째 결정적 O(log D)-패스 스트리밍 알고리즘인 Stream-Sort를 제안한다.
• O(log D) 라운드 내에 완료되며 총 통신량이 O((m+n)log D)인 MapReduce 알고리즘을 개발하였으며, 이는 이 모델에서 첫 번째이자 그러한 결정적 알고리즘이다.
• 포인터 추적 연산을 제거함으로써 기존 방법보다 분산 및 스트리밍 시스템에 더 적합한 프레임워크를 제공한다.
• 모든 알고리즘이 결정적이며 간단하게 구현 가능하며, 복잡한 데이터 구조나 확률적 가정을 피한다.
• 레이블 전파가 다양한 모델에서 효율적이고 확장 가능할 수 있음을 입증하였으며, 최신 기술 수준의 알고리즘 성능을 여러 모델에서 뛰어넘는다.