[논문 리뷰] SIMD-X: Programming and Processing of Graph Algorithms on GPUs

Hang Liu, H. Howie Huang|arXiv (Cornell University)|2018. 12. 10.

Graph Theory and Algorithms인용 수 15

한 줄 요약

이 논문은 프로그래밍의 간편함과 시스템 수준 최적화를 분리함으로써 비정규적 그래프 알고리즘의 고성능 실행을 가능하게 하는 GPU 프레임워크 simd-x를 제안한다. 직관적인 프로그래밍을 위한 Active-Compute-Combine (ACC) 모델, 워크로드 균형을 위한 적응형 필터링을 갖춘 Just-in-Time (JIT) 작업 관리, 그리고 데드락 없는 푸시-풀 커널 융합을 통해 커널 실행 횟수와 메모리 트래픽을 줄이며, Ligra와 같은 최신 프레임워크 대비 최대 24×의 성능 향상을 달성한다.

ABSTRACT

With high computation power and memory bandwidth, graphics processing units (GPUs) lend themselves to accelerate data-intensive analytics, especially when such applications fit the single instruction multiple data (SIMD) model. However, graph algorithms such as breadth-first search and k-core, often fail to take full advantage of GPUs, due to irregularity in memory access and control flow. To address this challenge, we have developed SIMD-X, for programming and processing of single instruction multiple, complex, data on GPUs. Specifically, the new Active-Compute-Combine (ACC) model not only provides ease of programming to programmers, but more importantly creates opportunities for system-level optimizations. To this end, SIMD-X utilizes just-in-time task management which filters out inactive vertices at runtime and intelligently maps various tasks to different amount of GPU cores in pursuit of workload balancing. In addition, SIMD-X leverages push-pull based kernel fusion that, with the help of a new deadlock-free global barrier, reduces a large number of computation kernels to very few. Using SIMD-X, a user can program a graph algorithm in tens of lines of code, while achieving 3?, 6?, 24?, 3? speedup over Gunrock, Galois, CuSha, and Ligra, respectively.

연구 동기 및 목표

• 비정규적 그래프 알고리즘의 GPU 성능 저하 원인인 비정규적 메모리 액세스와 제어 흐름을 해결하기 위해.
• 저수준 GPU 아키텍처 지식 없이도 그래프 워크로드에 대한 GPU 프로그래밍을 단순화하기 위해.
• 런타임 시스템 최적화, 예를 들어 워크로드 균형 조절과 커널 융합을 가능하게 하기 위해.
• GPU 그래프 처리에서 커널 융합 시 글로벌 소프트웨어 장벽에서 발생하는 데드락 문제를 해결하기 위해.
• 최소한의 코드로 다양한 그래프 알고리즘과 GPU 아키텍처에서 고성능을 달성하기 위해.

제안 방법

• Active-Compute-Combine (ACC) 모델은 그래프 알고리즘을 세 가지 데이터 병렬 함수로 추상화한다: 정점 활성화 조건, 간선 계산, 상태 조합으로, 고수준이고 직관적인 프로그래밍을 가능하게 한다.
• Just-in-Time (JIT) 작업 관리는 워크로드 크기에 따라 온라인 필터와 복표 필터 중 하나를 동적으로 선택함으로써 메모리 소비를 최소화하고 GPU 코어 간 워크로드 균형을 맞춘다.
• 새로운 데드락 없는 글로벌 장벽 메커니즘이 커널 경계를 넘어서 푸시 및 풀 단계를 안전하게 융합할 수 있게 하여 동기화 위험을 제거한다.
• 푸시-풀 기반 커널 융합은 인접한 커널을 융합함으로써 커널 실행 횟수와 글로벌 메모리 트래픽을 줄이며, 레지스터 사용량과 스레드 블록 재실행 횟수를 최소화한다.
• 이 프레임워크는 하드웨어에 따라 동적 스레드 수 설정을 지원하여 K20, K40, P100 등의 다양한 GPU에서 최적의 점유율과 성능을 달성한다.
• 프로그래밍 추상화와 저수준 최적화를 분리함으로써 사용자는 수십 줄의 코드로 그래프 알고리즘을 작성하면서도 고성능을 달성할 수 있다.

실험 결과

연구 질문

• RQ1 비정규적 그래프 알고리즘의 GPU 구현을 성능 손실 없이 단순화할 수 있는 고수준 프로그래밍 모델을 어떻게 설계할 수 있는가?
• RQ2 비정규적 그래프 워크로드에서 GPU 코어 간 워크로드를 효과적으로 균형 조절하면서도 메모리 오버헤드를 최소화할 수 있는 런타임 작업 관리 전략은 무엇인가?
• RQ3 GPU 그래프 처리에서 글로벌 장벽을 넘어서 커널 융합을 안전하게 적용하여 실행 오버헤드와 메모리 트래픽을 줄일 수 있는 방법은 무엇인가?
• RQ4 적응형 필터링(온라인 대비 복표)이 활성 정점 리스트 구축과 전체 성능에 미치는 영향은 무엇인가?
• RQ5 커널 융합과 동적 스레드 설정과 같은 시스템 수준 최적화가 다양한 그래프 알고리즘과 GPU 아키텍처에서 성능 향상에 얼마나 기여하는가?

주요 결과

• simd-x는 다양한 그래프 알고리즘과 데이터셋에서 Gunrock 대비 최대 3×, Galois 대비 6×, CuSha 대비 24×, Ligra 대비 3×의 성능 향상을 달성한다.
• JIT 작업 관리 컴ponent는 메모리 소비를 줄이고 메모리 액세스 패턴을 향상시켜 기준 시스템 대비 평균 16×의 성능 향상을 제공한다.
• 커널 융합은 비융합 커널 대비 레지스터 소비를 50% 감소시켜 가변 스레드 수를 두 배로 늘리며, 비융합 대비 42%의 성능 향상을, 과도한 융합 접근 방식 대비 25%의 성능 향상을 이룬다.
• P100에서는 5.1×의 성능 향상을, K40에서는 K20 대비 1.7×의 성능 향상을 달성했으며, 이는 동적 스레드 설정 덕분이다. 반면 Gunrock과 CuSha는 각각 1.7×와 3.5×의 성능 향상에 그쳤다.
• 이 프레임워크는 수십 줄의 코드로 그래프 알고리즘을 작성할 수 있어, CUDA 코드 수천 줄이 필요한 기존 시스템 대비 복잡도를 크게 감소시켰다.
• 데드락 없는 글로벌 장벽은 기존에 해결되지 않았던 문제였던 소프트웨어 장벽을 넘어서는 안전한 커널 융합을 가능하게 하였다. 이는 Gunrock과 CuSha와 같은 시스템에서의 문제를 해결한다.