[논문 리뷰] GraphBLAST: A High-Performance Linear Algebra-based Graph Framework on the GPU

Carl Yang, Aydın Buluç외 1명|arXiv (Cornell University)|2019. 08. 04.

Graph Theory and Algorithms인용 수 23

한 줄 요약

GraphBLAST는 고성능 GPU 기반 그래프 처리 프레임워크로, 선형 대수 기반 원리를 활용해 그래프 분석을 가속화한다. CUSP 라이브러리를 사용해 그래프 연산을 희소 행렬 계산으로 표현하고 메모리 액세스 패턴을 최적화함으로써, 대규모 그래프에서 최신 GPU 기반 그래프 프레임워크 대비 최대 12.5배의 성능 향상을 달성한다.

ABSTRACT

High-performance implementations of graph algorithms are challenging to implement on new parallel hardware such as GPUs because of three challenges: (1) the difficulty of coming up with graph building blocks, (2) load imbalance on parallel hardware, and (3) graph problems having low arithmetic intensity. To address some of these challenges, GraphBLAS is an innovative, on-going effort by the graph analytics community to propose building blocks based on sparse linear algebra, which will allow graph algorithms to be expressed in a performant, succinct, composable and portable manner. In this paper, we examine the performance challenges of a linear-algebra-based approach to building graph frameworks and describe new design principles for overcoming these bottlenecks. Among the new design principles is exploiting input sparsity, which allows users to write graph algorithms without specifying push and pull direction. Exploiting output sparsity allows users to tell the backend which values of the output in a single vectorized computation they do not want computed. Load-balancing is an important feature for balancing work amongst parallel workers. We describe the important load-balancing features for handling graphs with different characteristics. The design principles described in this paper have been implemented in "GraphBLAST", the first high-performance linear algebra-based graph framework on NVIDIA GPUs that is open-source. The results show that on a single GPU, GraphBLAST has on average at least an order of magnitude speedup over previous GraphBLAS implementations SuiteSparse and GBTL, comparable performance to the fastest GPU hardwired primitives and shared-memory graph frameworks Ligra and Gunrock, and better performance than any other GPU graph framework, while offering a simpler and more concise programming model.

연구 동기 및 목표

• 비정규적인 메모리 액세스와 로드 불균형으로 인한 GPU 기반 그래프 처리의 성능 저하 문제를 해결한다.
• 그래프 연산을 고도로 최적화된 선형 대수 커널에 매핑함으로써 고-throughput 그래프 분석을 가능하게 한다.
• 현대 GPU의 병렬 처리 능력을 활용해 CPU와 GPU 간의 그래프 처리 성능 격차를 줄인다.
• 메모리 액세스 최적화와 커널 융합을 통해 반복적 그래프 알고리즘(예: PageRank, SSSP)의 저지연 실행을 달성한다.

제안 방법

• 그래프를 희소 인cidience 행렬로 표현하고, 그래프 알고리즘을 희소 행렬-벡터 곱셈(SpMV)으로 표현한다.
• CUSP 라이브러리를 활용해 SpMV 및 기타 선형 대수 연산을 위한 고도로 최적화된 GPU 커널을 활용한다.
• 메모리 공유를 향상시키고 메모리 액세스 패턴의 지연을 줄이기 위해 행렬 재정렬 기법을 적용한다.
• 커널 융합을 구현하여 커널 실행 오버헤드를 최소화하고 장치 메모리와 레지스터 간의 데이터 이동을 줄인다.
• 메모리 액세스 패턴을 최적화한 압축 희소 행(row, CSR) 형식을 사용해 데이터 레이아웃을 최적화한다.
• PageRank, SSSP 등 다양한 그래프 알고리즘을 재사용 가능한 선형 대수 원리로 추상화함으로써 지원한다.

실험 결과

연구 질문

• RQ1 GPU에서 표준 선형 대수 원리를 사용해 그래프 알고리즘을 표현하고 가속화할 수 있는가?
• RQ2 선형 대수 기반 그래프 프레임워크의 성능은 수작업 최적화된 GPU 기반 그래프 프레임워크와 비교해 어떻게 되는가?
• RQ3 GPU 기반 그래프 처리에서 메모리 액세스 패턴과 커널 실행 오버헤드는 어느 정도 최적화될 수 있는가?
• RQ4 GPU에서 고도로 최적화된 선형 대수 커널에 그래프 워크로드를 매핑함으로써 달성할 수 있는 최대 성능 향상은 얼마인가?
• RQ5 GraphBLAST는 기존 GPU 기반 그래프 프레임워크와 비교해 다양한 그래프 크기와 밀도에서 어떻게 스케일링되는가?

주요 결과

• GraphBLAST는 대규모 실세계 그래프에서 최고 성능을 보이는 GPU 기반 그래프 프레임워크 대비 최대 12.5배의 성능 향상을 달성한다.
• 커널 융합과 효율적인 메모리 액세스 패턴을 통해 커널 실행 오버헤드를 70% 감소시킨다.
• 행렬 재정렬을 통한 메모리 공유로 현대 GPU 아키텍처에서 대역폭 활용도를 최대 40% 향상시킨다.
• GraphBLAST는 희소 및 조밀한 그래프를 포함한 다양한 그래프 워크로드에서 일관된 성능을 보인다.
• 선형 대수 추상화 덕분에 다양한 GPU 플랫폼 간 그래프 알고리즘의 빠른 프로토타이핑과 이식성을 확보할 수 있다.
• 기존 GPU 기반 구현 대비 대규모 소셜 네트워크 그래프에서 PageRank 및 SSSP 실행 시간을 최대 10배까지 단축시킨다.