[논문 리뷰] Multi-GPU Graph Analytics

Yuechao Pan, Yangzihao Wang외 3명|arXiv (Cornell University)|2015. 04. 19.

Graph Theory and Algorithms참고 문헌 35인용 수 9

한 줄 요약

이 논문은 단일 GPU 그래프 알고리즘을 최소한의 프로그래머 노력으로 다중 GPU로 확장할 수 있도록 하는 다중 GPU 기반 그래프 처리 라이브러리를 제시한다. 방향 최적화 탐색과 정확한 메모리 할당 최적화를 도입함으로써, 프레임워크는 단일 GPU 구현 대비 최대 3.86×의 기하 평균 성능 향상을 달성했으며, BFS에 대해 6개 GPU에서 900 GTEPS 이상을 기록하여 다중 GPU 기반 그래프 분석의 새로운 성능 기준을 설정한다.

ABSTRACT

We present a single-node, multi-GPU programmable graph processing library that allows programmers to easily extend single-GPU graph algorithms to achieve scalable performance on large graphs with billions of edges. Directly using the single-GPU implementations, our design only requires programmers to specify a few algorithm-dependent concerns, hiding most multi-GPU related implementation details. We analyze the theoretical and practical limits to scalability in the context of varying graph primitives and datasets. We describe several optimizations, such as direction optimizing traversal, and a just-enough memory allocation scheme, for better performance and smaller memory consumption. Compared to previous work, we achieve best-of-class performance across operations and datasets, including excellent strong and weak scalability on most primitives as we increase the number of GPUs in the system.

연구 동기 및 목표

• 단일 GPU 메모리 용량을 초월하는 GPU 기반 그래프 분석의 확장성을 해결하면서도 프로그래머블성과 알고리즘 일반성 유지를 목표로 한다.
• 기존 코드에 최소한의 변경만으로 단일 GPU 그래프 알고리즘을 다중 GPU 시스템으로 원활하게 확장할 수 있도록 한다.
• 다중 GPU 그래프 처리에서의 주요 성능 저하 요인인 통신 대역폭, 동기화 지연, 메모리 사용량, 분할 전략을 식별하고 최적화한다.
• 다양한 그래프 원소 및 데이터셋에서 다중 GPU 시스템에서 최고 수준의 성능을 달성한다.

제안 방법

• Gunrock 단일 GPU 그래프 처리 프레임워크를 다중 GPU 실행을 지원하도록 확장하여 통합적이고 고수준의 프로그래밍 모델을 사용한다.
• CUDA 스트림과 이벤트를 활용해 계산과 통신을 겹치도록 하여 하드웨어 활용도를 높이고 유휴 시간을 줄인다.
• GPU 메모리 사용량을 최소화하고 과도한 할당을 방지하기 위해 정확한 메모리 할당 전략을 구현한다.
• BFS 및 관련 원소에서 부하 균형을 향상시키고 통신을 줄이기 위해 방향 최적화 탐색을 도입한다.
• 경계 정점 수를 최소화하는 전략을 사용해 엣지 컷을 최소화하는 것보다 통신 효율성을 높이는 분할 전략을 설계한다.
• 낮은 프레임워크 수준의 오버헤드를 확보하기 위해 기존 고성능 단일 GPU 원소를 빌딩 블록으로 활용한다.

실험 결과

연구 질문

• RQ1 성능, 확장성, 프로그래머블성의 균형을 고려한 일반적인 다중 GPU 그래프 처리 모델은 무엇인가?
• RQ2 단일 GPU 그래프 알고리즘은 어떻게 최소한의 코드 변경으로 다중 GPU에서 효율적으로 실행할 수 있는가?
• RQ3 다중 GPU 그래프 처리에서의 주요 성능 저하 요인은 무엇이며, 어떻게 효과적으로 완화할 수 있는가?
• RQ4 분할 전략—특히 경계 정점 수 최소화와 엣지 컷 최소화—는 다중 GPU 그래프 처리 성능에 어떤 영향을 미치는가?
• RQ5 통합 프레임워크는 BFS, SSSP, CC, BC, PageRank와 같은 다양한 그래프 원소에서 고성능과 확장성 모두를 달성할 수 있는가?

주요 결과

• 6개 GPU에서 방향 최적화 BFS(DOBFS)에 대해 900 GTEPS 이상을 기록하여 스케일링 시 최고 성능을 입증했다.
• Breadth-first search(BFS)에 대해 다양한 데이터셋에서 단일 GPU 실행 대비 2.63× 기하 평균 성능 향상을 달성했다.
• Single-source shortest path(SSSP), connected components(CC), betweenness centrality(BC), PageRank(PR)에 대해 각각 2.57×, 2.00×, 1.96×, 3.86×의 기하 평균 성능 향상을 달성했다.
• 64비트 정점 및 간선 ID 사용은 32비트 ID 대비 약 50% 성능 저하를 초래하며, 이는 rmat_n24_32에서 64비트 정점 ID 사용 시 이중 데이터 대역폭 요구로 인한 것이다.
• 대부분의 그래프에서 Hybrid++(CPU+dGPU) 대비 TEPS 기준 5–10×, TEPS per watt 기준 3.5× 성능 향상을 달성했으며, 도로 네트워크에서는 성능이 절반으로 떨어졌다.
• 연구는 통신 대역폭, 동기화 지연, 메모리 사용량, 분할 전략이 주요 확장성 저하 요인임을 규명했으며, 엣지 컷 최소화보다 경계 최소화가 분할 전략에서 더 효과적임을 입증했다.