[논문 리뷰] Deterministic Sample Sort For GPUs

Frank Dehne, Hamidreza Zaboli|arXiv (Cornell University)|2010. 02. 24.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 GPU용 버킷 정렬(GPU Bucket Sort)을 제안한다. 이는 랜덤화된 샘플 정렬의 성능과 유사한 성능을 달성하면서도 입력 데이터에 따라 변동하는 성능 변동을 제거하는 결정적(deterministic) 샘플 정렬 알고리즘이다. 고정 크기의 버킷으로 데이터를 분할하기 위해 결정적 방법으로 샘플 포인트를 선택함으로써, 모든 데이터 분포에서 일관된 런타임을 보장하고, 제한된 GPU 메모리 내에서 더 큰 크기의 데이터 세트를 정렬할 수 있도록 한다.

ABSTRACT

We present and evaluate GPU Bucket Sort, a parallel deterministic sample sort algorithm for many-core GPUs. Our method is considerably faster than Thrust Merge (Satish et.al., Proc. IPDPS 2009), the best comparison-based sorting algorithm for GPUs, and it is as fast as the new randomized sample sort for GPUs by Leischner et.al. (to appear in Proc. IPDPS 2010). Our deterministic sample sort has the advantage that bucket sizes are guaranteed and therefore its running time does not have the input data dependent fluctuations that can occur for randomized sample sort.

연구 동기 및 목표

• GPU에서 랜덤화된 샘플 정렬의 성능 불안정성 문제를 해결하되, 이는 입력 데이터 분포에 따라 성능이 변동하기 때문이다.
• 모든 데이터 유형에서 일관된 성능을 유지하는 랜덤화된 샘플 정렬의 결정적 대안을 개발한다.
• 가장 잘 알려진 GPU 정렬 방법들(예: 랜덤화된 샘플 정렬 및 Thrust Merge)과 유사한 정렬 성능을 달성한다.
• 메모리 효율성을 향상시켜 동일한 GPU 메모리 제약 조건 내에서 더 큰 데이터 세트를 정렬할 수 있도록 한다.
• 불규칙한 메모리 액세스 패턴을 가진 일반 목적 GPU 컴퓨팅 워크로드에 적합한 확장 가능하고 예측 가능한 정렬 솔루션을 제공한다.

제안 방법

• 입력 데이터에서 피벗 요소를 결정적 샘플링을 통해 선택하여 버킷 경계를 정의한다.
• 결정적 피벗 선택 기반으로 고정 크기의 버킷으로 입력 데이터를 분할하여 예측 가능한 버킷 크기를 확보한다.
• 각 GPU 스레드 블록 내에서 비교 기반 정렬 알고리즘(예: 비트로닉 정렬 또는 홀짝 정렬)을 적용하여 개별 버킷의 요소를 정렬한다.
• CUDA의 SIMT 실행 모델을 활용하여 스레드 블록을 스트리밍 다중처리기(SM)에 매핑함으로써 버킷 정렬을 효율적으로 병렬화한다.
• 글로벌 메모리 액세스 패턴을 최적화하여 메모리 트랜잭션을 코alescing하고, 공유 메모리 사용을 최소화하여 지연을 줄인다.
• 샘플링 비용과 버킷 정렬 비용을 균형 잡기 위해 샘플 크기 파라미터 $ s $ 를 튜닝하며, 실험에서 $ s = 64 $ 가 최적임을 확인하였다.

실험 결과

연구 질문

• RQ1 결정적 샘플 정렬 알고리즘이 GPU에서 가장 잘 알려진 랜덤화된 샘플 정렬의 성능을 따라할 수 있는가?
• RQ2 결정적 버킷화가 GPU 정렬에서 입력 데이터 분포로 인한 성능 변동을 제거하는가?
• RQ3 결정적 접근 방식이 더 높은 메모리 효율성을 달성하여 동일한 GPU 하드웨어에서 더 큰 데이터 세트를 정렬할 수 있는가?
• RQ4 다양한 데이터 크기에서 결정적 방법의 정렬 속도가 랜덤화 및 비교 기반 방법과 비교해 어떻게 되는가?
• RQ5 GPU 기반 샘플 정렬의 총 런타임을 최소화하는 데 최적의 샘플 크기 $ s $ 는 무엇인가?

주요 결과

• GPU 버킷 정렬은 랜덤화된 샘플 정렬의 최고 성능 시나리오인 균일 분포 데이터에서 Leischner 등(2010)의 랜덤화된 샘플 정렬과 동일한 성능을 달성한다.
• 랜덤화된 샘플 정렬과 달리, GPU 버킷 정렬은 테스트된 모든 데이터 크기($ n = 64M $에서 $ n = 512M $)에서 일정한 정렬 속도를 유지하여 안정적인 성능을 보여준다.
• 데이터 크기가 증가함에 따라 런타임이 거의 선형적으로 증가함을 확인하여 확장성과 예측 가능한 성능를 입증한다.
• GPU 버킷 정렬은 Thrust Merge 및 랜덤화된 샘플 정렬 모두보다 더 높은 메모리 효율성을 보이며, GTX 285(2GB)에서는 최대 $ 256M $개의 데이터 항목, Tesla C1060에서는 $ 512M $개의 데이터 항목을 정렬할 수 있다.
• 100회의 런에서 런타임 변동이 1ms 미만으로 나타나 고도의 결정성과 낮은 런타임 변동성을 확인한다.
• 2GB 메모리의 GTX 285에서, 랜덤화된 방법보다 약간 더 낮은 메모리 구성임에도 불구하고 더 나은 메모리 대역폭 활용도 덕분에 몇 퍼센트 성능 향상을 기록한다.