[논문 리뷰] Faster Radix Sort via Virtual Memory and Write-Combining

Jan Wassenberg, Peter Sanders|arXiv (Cornell University)|2010. 08. 17.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 2

한 줄 요약

이 논문은 32비트 정수 키를 위한 고성능 라디스 정렬 알고리즘을 제안하며, 가상 메모리와 소프트웨어 기반 쓰기 결합을 활용해 최대 메모리 대역폭을 거의 달성한다. 출력 배열을 매핑하기 위해 가상 메모리를 사용하고, 소프트웨어 관리 버퍼를 통해 비임시 쓰기 연산을 결합함으로써, 32비트 키에서 621 M/s의 처리량을 달성하였으며, 이는 인텔의 최적화된 라디스 정렬보다 1.5배 빠르고, PCIe 오버헤드를 포함한 페르미 GPU보다도 1.24배 빠르다.

ABSTRACT

Sorting algorithms are the deciding factor for the performance of common operations such as removal of duplicates or database sort-merge joins. This work focuses on 32-bit integer keys, optionally paired with a 32-bit value. We present a fast radix sorting algorithm that builds upon a microarchitecture-aware variant of counting sort. Taking advantage of virtual memory and making use of write-combining yields a per-pass throughput corresponding to at least 88 % of the system's peak memory bandwidth. Our implementation outperforms Intel's recently published radix sort by a factor of 1.5. It also compares favorably to the reported performance of an algorithm for Fermi GPUs when data-transfer overhead is included. These results indicate that scalar, bandwidth-sensitive sorting algorithms remain competitive on current architectures. Various other memory-intensive applications can benefit from the techniques described herein.

연구 동기 및 목표

• 현대 x86 아키텍처에서 대역폭에 제한을 받는 정렬 알고리즘의 성능을 향상시키기 위해.
• 메모리 집약적인 정렬에서 제한된 쓰기 결합 버퍼와 캐시 오염으로 인한 성능 저하 문제를 해결하기 위해.
• 스칼라형, 대역폭 최적화 알고리즘이 고도로 병렬화된 GPU 구현 대비 경쟁력이 있음을 보여주기 위해.
• 가상 메모리와 소프트웨어 기반 쓰기 결합이 정렬 커널에서 최대 메모리 대역폭에 가까운 성능을 달성하는 데 사용될 수 있음을 보여주기 위해.

제안 방법

• 출력 배열을 위한 큰 연속된 주소 공간을 확보하기 위해 가상 메모리를 사용하여 캐시 오염을 방지한다.
• L1 캐시 라인에 쓰기 작업을 버퍼링한 후 비임시 스토어를 실행함으로써 소프트웨어 기반 쓰기 결합을 구현한다.
• 여러 쓰기 작업을 하나의 버스트 전송으로 통합하기 위해 비임시 스트리밍 스토어를 적용한다.
• 히스토GRAM 카운팅을 키별로 사전 할당된 버퍼에 직접 인덱싱하는 방식으로 카운팅 소트를 최적화한다.
• 효율적인 벡터화된 로드 및 비임시 스토어 연산을 위해 SSE2 인트린식스를 사용한다.
• Intel i7 언코어 성능 카운터에 커널 모드로 접근하여 메모리 대역폭 이용률을 측정한다.

실험 결과

연구 질문

• RQ1 가상 메모리와 소프트웨어 기반 쓰기 결합이 현대 x86 시스템에서 스칼라 라디스 정렬의 처리량을 크게 향상시킬 수 있는가?
• RQ2 소프트웨어 기반 쓰기 결합이 하드웨어 쓰기 결합 버퍼의 한계를 어느 정도 완화할 수 있는가?
• RQ3 PCIe 데이터 전송 오버헤드를 포함할 경우, 고도로 최적화된 스칼라 라디스 정렬의 성능은 페르미 GPU와 어떻게 비교되는가?
• RQ4 이러한 기법을 사용할 경우, 대역폭에 제한을 받는 정렬 커널이 이론적 최대 메모리 대역폭의 어느 정도를 달성할 수 있는가?
• RQ5 측정된 읽기 트래픽이 쓰기 트래픽보다 약 10% 많아지는 이유는 무엇이며, 이 불균형의 원인은 무엇인가?

주요 결과

• 제안된 알고리즘은 32비트 정수 키에서 621 M/s의 처리량을 달성하였으며, 이는 이중 CPU 환경 및 하이퍼스레딩 미사용 조건을 고려한 인텔의 보고된 성능 대비 1.5배 향상된 것이다.
• 32비트 값에서 처리량은 430 M/s에 도달하였으며, 이는 계산이 부분적인 성능 저하 요인임을 시사하지만, 여전히 메모리 대역폭이 주요 제약 요소로 남아 있음을 의미한다.
• 알고리즘은 이론적 최대 메모리 대역폭의 88%를 달성하였으며, 네 번의 패assing 동안 총 2041 MiB의 쓰기 및 2272 MiB의 읽기 작업이 수행되었다.
• 쓰기 작업을 초월하는 추가 10%의 읽기 트래픽은 설명되지 않았으며, 향후 조사가 필요하다.
• 트랜지스터 수(1.46B 대비 3B)와 열 설계 출력(260W 대비 300W)이 낮음에도 불구하고, PCIe 데이터 전송 오버헤드를 포함하면 이중 CPU 구현이 GTX 480 GPU를 능가한다.
• 측정된 대역폭 이용률은 추가 최적화의 여지가 거의 없음을 시사하며, 메모리 작업에 소요되는 시간이 이미 이론적 최소값에 매우 가까이 도달해 있다.