[논문 리뷰] ConnectIt: A Framework for Static and Incremental Parallel Graph Connectivity Algorithms

Laxman Dhulipala, Changwan Hong외 1명|arXiv (Cornell University)|2020. 08. 10.

Graph Theory and Algorithms참고 문헌 113인용 수 6

한 줄 요약

ConnectIt는 다핵 프로세서 시스템에서 정적 및 증분 병렬 그래프 연결성 처리를 위한 통합 프레임워크로, 간선 샘플링, 트리 연결, 압축 전략을 조합하여 수백 가지의 알고리즘 변종을 생성한다. 이 프레임워크는 최신 기술 대비 평균 12.4배의 성능 향상을 달성하며, 72개 코어에서 35억 개 정점, 1280억 개 간선을 가진 그래프의 연결성을 10초 이내에 처리한다. 또한 증분 업데이트는 최대 초당 수십억 개 간선의 속도로 처리된다.

ABSTRACT

Connected components is a fundamental kernel in graph applications. The fastest existing parallel multicore algorithms for connectivity are based on some form of edge sampling and/or linking and compressing trees. However, many combinations of these design choices have been left unexplored. In this paper, we design the ConnectIt framework, which provides different sampling strategies as well as various tree linking and compression schemes. ConnectIt enables us to obtain several hundred new variants of connectivity algorithms, most of which extend to computing spanning forest. In addition to static graphs, we also extend ConnectIt to support mixes of insertions and connectivity queries in the concurrent setting. We present an experimental evaluation of ConnectIt on a 72-core machine, which we believe is the most comprehensive evaluation of parallel connectivity algorithms to date. Compared to a collection of state-of-the-art static multicore algorithms, we obtain an average speedup of 12.4x (2.36x average speedup over the fastest existing implementation for each graph). Using ConnectIt, we are able to compute connectivity on the largest publicly-available graph (with over 3.5 billion vertices and 128 billion edges) in under 10 seconds using a 72-core machine, providing a 3.1x speedup over the fastest existing connectivity result for this graph, in any computational setting. For our incremental algorithms, we show that our algorithms can ingest graph updates at up to several billion edges per second. To guide the user in selecting the best variants in ConnectIt for different situations, we provide a detailed analysis of the different strategies. Finally, we show how the techniques in ConnectIt can be used to speed up two important graph applications: approximate minimum spanning forest and SCAN clustering.

연구 동기 및 목표

• 정적 및 증분 병렬 그래프 연결성을 위한 다양한 알고리즘 조합을 체계적으로 탐색할 수 있도록 유연하고 조합 가능한 프레임워크를 설계한다.
• 동시 다중 코어 환경에서 정적 그래프 연결성과 동적 증분 업데이트(간선 삽입)를 모두 지원한다.
• 다양한 그래프 워크로드와 알고리즘 변종에 걸쳐 종합적인 성능 평가를 제공한다.
• 최적화된 연결성 기반 원리를 활용해 두 가지 핵심 그래프 응용 프로그램—근사 최소 스패닝 포레스트 및 SCAN 클러스터링—의 처리 속도를 가속화한다.
• 샘플링, 연결, 압축 전략에 대한 세부 분 析를 통해 사용자가 특정 그래프 및 워크로드 특성에 가장 적합한 알고리즘 변종을 선택할 수 있도록 안내한다.

제안 방법

• 다양한 샘플링 전략, 트리 연결 기법, 경로 압축 기술을 하나의 확장 가능한 아키텍처로 조합하는 모듈식 프레임워크를 도입한다.
• 원자 연산(CAS)과 락 기반 동기화를 활용해 정확성을 보장하는 다수의 유니온-파인드 변종을 지원한다.
• 메모리 접근을 줄이고 병렬 실행에서 로드 밸런싱을 향상시키기 위해 훅-압축 및 스플라이스-원자 패러다임을 활용한다.
• 후속 단계에서 처리되는 간선 수를 줄이기 위해 간선 샘플링을 활용하여 대규모 그래프에서의 확장성을 향상시킨다.
• 조기 종료 및 단축 기법을 통합하여 연결성 계산 중 부과적인 작업을 최소화한다.
• 새로운 간선 삽입과 빠른 쿼리 해결을 지원하는 데이터 구조를 유지함으로써 증분 연결성을 구현한다.

실험 결과

연구 질문

• RQ1 다핵 프로세서 시스템에서 병렬 그래프 연결성 처리에 있어 샘플링, 연결, 압축 전략의 어떤 조합이 가장 높은 성능을 낼 수 있는가?
• RQ2 ConnectIt 프레임워크는 35억 개 이상의 정점과 1280억 개의 간선을 가진 거대한 그래프를 포함한 다양한 실제 워크로드에서 어떻게 확장되는가?
• RQ3 고속 간선 삽입 워크로드에서 프레임워크는 증분 연결성을 효율적으로 지원할 수 있으며, 성능의 한계는 무엇인가?
• RQ4 공유 메모리 아키텍처에서 다양한 유니온-파인드 변종(예: 훅-압축, 리마인드-락, CAS 기반) 간의 성능 및 확장성은 어떻게 비교되는가?
• RQ5 ConnectIt의 최적화된 연결성 기반 원리는 최소 스패닝 포레스트 및 SCAN 클러스터링과 같은 고수준 그래프 응용 프로그램을 얼마나 빠르게 가속화할 수 있는가?

주요 결과

• ConnectIt는 72코어 머신에서 최신 정적 다핵 프로세서 연결성 알고리즘 대비 평균 12.4배의 성능 향상을 달성한다.
• 프레임워크는 공개된 가장 큰 그래프(35억 정점, 1280억 간선)의 연결성을 10초 이내에 처리하며, 기존 최고 성능 결과 대비 3.1배 향상된 성능을 기록한다.
• ConnectIt의 증분 연결성 알고리즘은 초당 수십억 개 간선의 업데이트 속도를 유지하여 동적 워크로드에 대한 높은 처리량을 입증한다.
• 다양한 샘플링, 연결, 압축 전략의 조합을 통해 수백 가지의 새로운 알고리즘 변종을 생성하며, 대부분이 스패닝 포레스트 계산으로 확장 가능하다.
• ConnectIt의 최적화된 변종은 근사 최소 스패닝 포레스트 및 SCAN 클러스터링과 같은 실세계 응용 프로그램을 크게 가속화하여 기반 연결성 커널의 처리 속도를 향상시킨다.
• 전략에 대한 세부 분석을 통해 사용자는 특정 그래프 및 워크로드 특성에 가장 적합한 최고 성능의 변종을 선택할 수 있다.