[논문 리뷰] An Adaptive Parallel Algorithm for Computing Connectivity.

Chirag Jain, Patrick Flick외 3명|arXiv (Cornell University)|2016. 07. 21.

Graph Theory and Algorithms참고 문헌 2인용 수 1

한 줄 요약

이 논문은 그래프 구조에 따라 동적으로 Shiloach-Vishkin과 병렬 BFS 사이를 전환하는 라우팅 전략을 사용하여 대규모 무방향 그래프의 연결성 컴пон언트를 계산하기 위한 적응형 하이브리드 병렬 알고리즘을 제시한다. 도메인 분포 분석을 통해 최적의 방법을 예측함으로써, 이전 작업 대비 24배의 성능 향상을 달성하였으며, 메타유전체학적 그래프(500억 개 이상의 간선 포함)에 대해 32,000개 코어에서 215초 내로 실행된다.

ABSTRACT

We present an efficient distributed memory parallel algorithm for computing connected components in undirected graphs based on Shiloach-Vishkin's PRAM approach. We discuss multiple optimization techniques that reduce communication volume as well as balance the load to improve the performance of the algorithm in practice. We also note that the efficiency of parallel graph connectivity algorithm depends on the underlying graph topology. Particularly for short diameter graph components, we observe that parallel breadth first search method offers better performance. However, running parallel BFS is not efficient for computing large diameter components or large number of small components. To address this challenge, we employ a heuristic that allows the algorithm to quickly predict the type of the network by computing the degree distribution and follow the optimal hybrid route. Using large graphs with diverse topologies from domains including metagenomics, web crawl, social graph and road networks, we show that our hybrid implementation is efficient and scalable for each of the graph types. Our approach achieves a runtime of 215 seconds using 32K cores of Cray XC30 for a metagenomic graph with over 50 billion edges. When compared against the previous state-of-the-art method, we see performance improvements up to 24x.

연구 동기 및 목표

• 다양한 그래프 구조에 따라 최적의 알고리즘 선택이 이루어지지 않을 경우 발생하는 병목 현상을 해결하기 위해.
• 분산 메모리 시스템에서 통신 부담을 줄이고 로드 밸런싱을 향상시켜 확장성을 향상시키기 위해.
• 도메인 분포를 기반으로 그래프 컴포넌트가 Shiloach-Vishkin 또는 병렬 BFS 중 어느 것이 더 적합한지 예측할 수 있는 히ュ리스틱을 개발하기 위해.
• 메타유전체학, 웹 크롤링, 소셜 네트워크, 도로 네트워크 등 다양한 실제 그래프 워크로드에서 높은 성능과 확장성을 달성하기 위해.

제안 방법

• 분산 메모리 환경에서 병렬 연결성 계산을 위한 기초로 Shiloach-Vishkin PRAM 알고리즘을 채택한다.
• 그래프 구조를 고려한 히ュ리스틱을 도입하여 도메인 분포를 계산하고 그래프 컴포넌트를 분류하며, 최적의 연결성 알고리즘을 선택한다.
• 예측된 성능 특성에 따라 컴포넌트 수준에서 Shiloach-Vishkin과 병렬 BFS 사이를 동적으로 전환한다.
• 알고리즘적 개선과 데이터 배포 전략을 통해 통신 부담과 로드 밸런싱을 최적화한다.
• 단거리 직경을 가진 컴포넌트는 병렬 BFS를, 장거리 직경 또는 소형 컴포넌트 클러스터는 Shiloach-Vishkin을 사용하는 하이브리드 실행 방식을 구현한다.
• 크레이 XC30와 같은 대규모 분산 시스템을 활용하여 500억 개 이상의 간선을 가진 그래프에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 그래프 구조에 따라 Shiloach-Vishkin과 병렬 BFS 사이에서 동적으로 알고리즘을 선택하는 방법은 무엇인가?
• RQ2 다양한 그래프 컴포넌트에 대해 최적의 연결성 알고리즘을 정확하게 예측할 수 있는 히ュ리스틱는 무엇인가?
• RQ3 통신 부담과 로드 불균형은 병렬 연결성 알고리즘의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 다양한 실제 그래프 유형에서 Shiloach-Vishkin과 병렬 BFS를 개별적으로 사용하는 것보다 하이브리드 접근 방식이 더 우수한 성능을 낼 수 있는가?

주요 결과

• 메타유전체학적 그래프(500억 개 이상의 간선 포함)에 대해 크레이 XC30 시스템의 32,000개 코어에서 하이브리드 알고리즘이 215초의 실행 시간을 기록했다.
• 이전 최고 수준의 방법 대비 최대 24배의 성능 향상을 달성하였다.
• 단거리 직경 컴포넌트에서는 병렬 BFS가 Shiloach-Vishkin보다 뛰어난 성능을 보였고, 장거리 직경 또는 소형 컴포넌트에서는 Shiloach-Vishkin이 더 효율적이었다.
• 도메인 분포 기반 히ュ리스틱은 최적의 알고리즘을 정확하게 예측할 수 있었으며, 부적절한 선택으로 인한 런타임 오버헤드를 줄였다.
• 메타유전체학, 웹 크롤링, 소셜 네트워크, 도로 네트워크를 포함한 다양한 그래프 구조에서 하이브리드 접근 방식은 효율적인 확장성을 보였다.
• 알고리즘 최적화를 통해 통신 부담과 로드 불균형이 크게 감소하였으며, 이는 전체 성능 향상에 기여했다.