[논문 리뷰] Work-Efficient Parallel and Incremental Graph Connectivity

Natcha Simsiri, Kanat Tangwongsan외 2명|arXiv (Cornell University)|2016. 02. 16.

Graph Theory and Algorithms참고 문헌 11인용 수 4

한 줄 요약

이 논문은 다항로그 시간 병렬 깊이를 갖는 증분 그래프 연결성에 대해 처음으로 작업 효율적인 공유 메모리 병렬 알고리즘을 제안한다. 이는 스트리밍 엣지의 고속 처리를 가능하게 하며, 20코어 머신에서 초당 수억 개의 엣지를 처리한다. 순차적 방법보다 뚜렷이 뛰어나며, 작업 복잡도 이론적 최적성을 유지한다.

ABSTRACT

On an evolving graph that is continuously updated by a high-velocity stream of edges, how can one efficiently maintain if two vertices are connected? This is the connectivity problem, a fundamental and widely studied problem on graphs. We present the first shared-memory parallel algorithm for incremental graph connectivity that is both provably work-efficient and has polylogarithmic parallel depth. We also present a simpler algorithm with slightly worse theoretical properties, but which is easier to implement and has good practical performance. Our experiments show a throughput of hundreds of millions of edges per second on a $20$-core machine.

연구 동기 및 목표

• 동적이고 고속의 데이터 스트림에서 고속, 실시간 그래프 분석의 필요를 해결한다.
• 작업 효율적이며 낮은 병렬 깊이를 갖는 증분 그래프 연결성 병렬 알고리즘을 설계한다.
• 공유 메모리 시스템에서 엣지 업데이트와 연결성 쿼리의 효율적 대량 처리를 가능하게 한다.
• 현대 다중코어 아키텍처에서 실용적인 확장성과 고속 처리를 달성한다.
• 이론적 병렬 알고리즘과 스트림 처리 프레임워크에서의 실용적 구현 간 격차를 메운다.

제안 방법

• b개의 엣지를 O(n) 메모리와 O(b log n) 작업으로 단일 패assing 내에 미니배치로 처리하는 단순한 병렬 증분 연결성 알고리즘을 제안한다.
• 전체 작업량이 O((m + q)α(m + q, n))인 작업 최적화 알고리즘을 도입하여 최고의 순차적 유니온-파인드 성능을 달성한다.
• 경로 압축과 효율적인 배치 처리를 갖춘 병렬 유니온-파인드 변형을 사용하여 중복 작업을 최소화한다.
• 각 작업이 다수의 코어에 걸쳐 병렬로 처리되는 대량 업데이트 및 대량 쿼리 인터페이스를 설계한다.
• 공유 메모리 병렬 처리를 활용해 대규모 미니배치의 엣지와 쿼리를 동시에 처리하여 동기화 오버헤드를 최소화한다.
• 하이퍼스레딩이 적용된 20코어 시스템에서 단순 알고리즘의 실용적 변형을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 공유 메모리 병렬 알고리즘이 증분 그래프 연결성 문제에서 작업 효율성과 다항로그 병렬 깊이를 동시에 달성할 수 있는가?
• RQ2 현대 다중코어 시스템에서 엣지 업데이트와 쿼리의 대량 병렬 처리는 어떻게 설계하여 효율적으로 확장할 수 있는가?
• RQ3 실세계 스트리밍 워크로드에서 작업 효율적인 병렬 증분 그래프 연결성 알고리즘의 실용적 성능는 어떠한가?
• RQ4 이론적 최적성을 유지하면서도 실생활에서 고속 처리를 달성할 수 있는가?
• RQ5 큰 배치에선 선형 작업량을, 작은 배치에선 유니온-파인드 스타일 성능을 적응적으로 활용하는 하이브리드 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 알고리즘은 하이퍼스레딩이 적용된 20코어 머신에서 초당 3억 개의 엣지 처리를 달성한다.
• 20코어에서 단일 스레드 대비 8~11배의 속도 향상을 기록하며, 다양한 데이터셋에서 일관된 확장성을 보였다.
• 배치 크기가 클수록 동기화 오버헤드 감소와 더 나은 로드 밸런싱로 인해 속도 향상이 증가한다.
• 많은 연결 성분을 포함한 데이터셋(예: rMat16)에서는 20개 이상의 스레드를 초과할 경우 배치당 작업이 부족해져 처리량이 감소하기 시작한다.
• 경로 압축이 없는 유니온-파인드보다 1.01~2.5배 빠르며, 경로 압축이 있는 유니온-파인드와 비교해 수용 가능한 오버헤드 수준을 유지한다.
• 이론적 작업 최적성을 유지하면서도 실생활에서 거의 선형 속도 향상을 달성한다.