[논문 리뷰] GPU Multisplit: an extended study of a parallel algorithm

Saman Ashkiani, Andrew Davidson외 2명|arXiv (Cornell University)|2017. 01. 05.

Parallel Computing and Optimization Techniques참고 문헌 28인용 수 12

한 줄 요약

이 논문은 사용자 정의 키 기준에 따라 데이터를 연속적인 버킷으로 효율적으로 분할하는 고성능 병렬 알고리즘인 GPU Multisplit을 제시한다. 워프 동기 프로그래밍, 계층적 부분문제 분해 및 최적화된 메모리 액세스 패턴을 활용하여, GeForce GTX 1080에서 18.93 Gkeys/s의 성능을 달성하며, 정렬 기반 대안들을 능가하고 3.0 Gkeys/s의 처리량을 보이는 빠른 레이디스 정렬을 가능하게 한다.

ABSTRACT

Multisplit is a broadly useful parallel primitive that permutes its input data into contiguous buckets or bins, where the function that categorizes an element into a bucket is provided by the programmer. Due to the lack of an efficient multisplit on GPUs, programmers often choose to implement multisplit with a sort. One way is to first generate an auxiliary array of bucket IDs and then sort input data based on it. In case smaller indexed buckets possess smaller valued keys, another way for multisplit is to directly sort input data. Both methods are inefficient and require more work than necessary: the former requires more expensive data movements while the latter spends unnecessary effort in sorting elements within each bucket. In this work, we provide a parallel model and multiple implementations for the multisplit problem. Our principal focus is multisplit for a small (up to 256) number of buckets. We use warp-synchronous programming models and emphasize warp-wide communications to avoid branch divergence and reduce memory usage. We also hierarchically reorder input elements to achieve better coalescing of global memory accesses. On a GeForce GTX 1080 GPU, we can reach a peak throughput of 18.93 Gkeys/s (or 11.68 Gpairs/s) for a key-only (or key-value) multisplit. Finally, we demonstrate how multisplit can be used as a building block for radix sort. In our multisplit-based sort implementation, we achieve comparable performance to the fastest GPU sort routines, sorting 32-bit keys (and key-value pairs) with a throughput of 3.0 G keys/s (and 2.1 Gpair/s).

연구 동기 및 목표

• GPU에서 효율적인 멀티스플릿 프리미티브의 부재로 인해 프로그래머들이 최적화되지 않은 정렬 기반 대안을 사용하게 되는 문제를 해결하기 위해.
• 메모리 이동을 최소화하고 불필요한 버킷 내 정렬을 피하는 병렬 멀티스플릿 알고리즘을 설계하기 위해.
• 계층적 부분문제 조직과 워프 동기 통신을 통해 메모리 액세스 최적화를 통해 분기 분리와 효율성 향상을 도모하기 위해.
• 멀티스플릿을 고성능 GPU 프리미티브(예: 레이디스 정렬)의 구축 블록으로서의 유용성을 입증하기 위해.
• 특히 소수의 버킷(최대 256개)에 대해 현대 GPU에서 최고 성능을 달성하기 위해.

제안 방법

• 분기 분리와 메모리 사용을 줄이기 위해 워프 동기 프로그래밍 모델을 활용하기 위해.
• 전역 메모리 연산을 최소화하기 위해 다수의 부분문제 국소화 수준을 포함한 계층적 분할-정복 접근 방식을 사용하기 위해.
• 전역 메모리 액세스의 코alescing를 향상시키기 위해 입력 요소를 계층적으로 재정렬하기 위해.
• 워프 내에서 데이터 흐름과 감소를 효율적으로 관리하기 위해 워프 전역 지침(예: shuffle, ballot 명령어)을 활용하기 위해.
• 로컬 계산과 전역 동기화 사이의 균형을 맞추기 위해 파rameters $L_0, L_1, ..., L_{\lambda-1}$을 포함한 다수준 국소화 기법을 설계하기 위해.
• 계층적 부분문제를 통해 버킷 수의 누적합을 재귀적으로 계산하여 최종 순서를 도출하기 위해.

실험 결과

연구 질문

• RQ1 GPU에서 정렬 기반 구현의 성능 낭비를 피할 수 있는 멀티스플릿 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 계층적 부분문제 분해는 전역 메모리 액세스와 동기화 오버헤드를 줄이는 데 어떤 역할을 하는가?
• RQ3 워프 동기 지침과 메모리 액세스 최적화는 처리량과 확장성에 어떤 영향을 미치는가?
• RQ4 멀티스플릿은 레이디스 정렬과 같은 다른 GPU 프리미티브의 효율적 빌딩 블록으로 사용될 수 있는가?
• RQ5 현대 GPU에서 멀티스플릿 구현의 이론적 및 실용적 성능 한계는 무엇인가?

주요 결과

• 제안된 GPU Multisplit는 GeForce GTX 1080 GPU에서 키 전용(또는 키-값) 멀티스플릿에 대해 최대 18.93 Gkeys/s(또는 11.68 Gpairs/s)의 처리량을 달성한다.
• 정렬 기반 멀티스플릿 접근 방식에서 내재된 버킷 내 정렬을 피함으로써 불필요한 작업을 줄였다.
• 계층적 국소화와 워프 동기 프로그래밍을 통해 전역 메모리 액세스와 분기 분리를 최소화하였다.
• 멀티스플릿 기반의 레이디스 정렬은 3.0 Gkeys/s(2.1 Gpairs/s)의 처리량을 달성하였으며, 최고의 GPU 정렬 루틴과 유사한 성능을 보였다.
• 계층적 접근은 로컬 메모리(레지스터 및 공유 메모리)의 효율적 사용을 가능하게 하여 고비용 전역 메모리 연산에 대한 의존도를 낮췄다.
• 특히 소수의 버킷 수(≤256)에 대해 정렬 기반 대안 대비 뚜렷한 성능 향상을 보였다.