[논문 리뷰] Fast GPGPU Data Rearrangement Kernels using CUDA

Michael Bäder, Hans‐Joachim Bungartz외 3명|arXiv (Cornell University)|2010. 11. 16.

Seismic Imaging and Inversion Techniques참고 문헌 5인용 수 12

한 줄 요약

이 논문은 다차원에서의 Permute, Reorder, Interlace/De-interlace 등의 GPGPU 데이터 재배치 연산을 위한 고도로 최적화된 일반적 커널을 CUDA 기반 라이브러리로 제시한다. 템플릿과 펑터를 활용하여 저자들은 높은 대역폭 활용도를 달성하였으며, 모든 테스트 케이스에서 기존에 알려진 최고 성능을 뛰어넘거나 근사함으로써 고성능 계산 워크로드에 효율적으로 통합할 수 있도록 한다.

ABSTRACT

Many high performance-computing algorithms are bandwidth limited, hence the need for optimal data rearrangement kernels as well as their easy integration into the rest of the application. In this work, we have built a CUDA library of fast kernels for a set of data rearrangement operations. In particular, we have built generic kernels for rearranging m dimensional data into n dimensions, including Permute, Reorder, Interlace/De-interlace, etc. We have also built kernels for generic Stencil computations on a two-dimensional data using templates and functors that allow application developers to rapidly build customized high performance kernels. All the kernels built achieve or surpass best-known performance in terms of bandwidth utilization.

연구 동기 및 목표

• 비효율적인 데이터 재배열로 인해 발생하는 대역폭 제한형 고성능 계산(HPC) 응용 프로그램에서의 성능 저하 문제를 해결하기 위해.
• 다차원에서의 복잡한 데이터 재구성 작업을 지원하는 일반적이고 재사용 가능한 CUDA 커널 라이브러리 개발을 위해.
• 템플릿과 펑터를 활용하여 애플리케이션 개발자가 고성능 맞춤형 커널을 신속하게 구현할 수 있도록 하기 위해.
• GPU 아키텍처에서 데이터 재배치 연산의 최고 성능 대역폭 활용도를 달성하거나 초월하기 위해.

제안 방법

• m에서 n 차원으로의 데이터 재배열을 위한 일반적 CUDA 커널 설계, 여기에는 Permute, Reorder, Interlace/De-interlace 연산 포함.
• 다양한 데이터 레이아웃에 적합한 융통성 있고 재사용 가능한 커널 생성을 위한 템플릿 기반 C++ 프로그래밍 활용.
• 펑터를 사용하여 계산 로직을 캡슐화하여 2차원 데이터에 대한 효율적이고 커스터마이징 가능한 스텐실 연산을 가능하게 함.
• GPU 메모리 대역폭 활용도를 극대화하기 위해 메모리 액세스 패턴과 스레드 구성 최적화.
• 메모리 접근을 연속적으로 하고 분기 분산을 최소화하여 성능 향상.
• 표준 벤치마크를 사용하여 기존 최상위 성능 구현과의 성능 검증.

실험 결과

연구 질문

• RQ1 GPU 아키텍처에서 메모리 대역폭 활용도를 극대화하기 위해 데이터 재배치 연산을 어떻게 최적화할 수 있는가?
• RQ2 CUDA에서 복잡한 데이터 재구성 패턴을 효율적이고 재사용 가능한 방식으로 구현하기 위해 어떤 일반적 프로그래밍 기법을 사용할 수 있는가?
• RQ3 C++의 템플릿과 펑터 기반 접근 방식이 GPGPU 커널에서 높은 성능을 유지하면서도 개발 시간을 크게 줄일 수 있는가?
• RQ4 제안된 라이브러리의 성능는 기존 수작업 최적화된 구현과 비교하여 어떻게 되는가?
• RQ5 동일한 커널 프레임워크가 Permute, Reorder, Interlace 등의 다양한 작업을 최소한의 코드 변경으로 얼마나 잘 지원할 수 있는가?

주요 결과

• 제안된 CUDA 커널은 모든 벤치마크된 데이터 재배치 연산에서 최고 성능 대역폭 활용도를 달성하거나 초월한다.
• 템플릿과 펑터의 사용은 최소한의 성능 오버헤드로 맞춤형 고성능 커널을 신속하게 개발할 수 있도록 한다.
• 라이브러리는 다차원 순열과 인터레이싱을 포함한 다양한 데이터 재배치 작업을 일관된 고성능으로 지원한다.
• 커널은 탁월한 메모리 연속성과 스레드 분기 분산 제어를 보이며, 고대역폭 효율성 확보에 필수적인 요소이다.
• 성능 결과는 제안된 접근 방식이 다양한 GPU 아키텍처와 데이터 유형에서 확장 가능하고 이식 가능하다는 것을 확인한다.