[논문 리뷰] cuTT: A High-Performance Tensor Transpose Library for CUDA Compatible GPUs

Antti‐Pekka Hynninen, Dmitry I. Lyakh|arXiv (Cornell University)|2017. 05. 03.

Parallel Computing and Optimization Techniques인용 수 13

한 줄 요약

cuTT는 NVIDIA GPU의 Kepler 이상 아키텍처에서 텐서 전치 연산을 위한 고성능 CUDA 라이브러리입니다. 공유 메모리 최적화된 두 가지 전치 알고리즘과 스레드 병렬 메모리 인덱싱 기법을 사용하여 랭크에 영향을 받지 않는 성능를 달성하며, 통합 워크로드에서 텐서 수축의 오버헤드를 최소 1%까지 낮춥니다.

ABSTRACT

We introduce the CUDA Tensor Transpose (cuTT) library that implements high-performance tensor transposes for NVIDIA GPUs with Kepler and above architectures. cuTT achieves high performance by (a) utilizing two GPU-optimized transpose algorithms that both use a shared memory buffer in order to reduce global memory access scatter, and by (b) computing memory positions of tensor elements using a thread-parallel algorithm. We evaluate the performance of cuTT on a variety of benchmarks with tensor ranks ranging from 2 to 12 and show that cuTT performance is independent of the tensor rank and that it performs no worse than an approach based on code generation. We develop a heuristic scheme for choosing the optimal parameters for tensor transpose algorithms by implementing an analytical GPU performance model that can be used at runtime without need for performance measurements or profiling. Finally, by integrating cuTT into the tensor algebra library TAL-SH, we significantly reduce the tensor transpose overhead in tensor contractions, achieving as low as just one percent overhead for arithmetically intensive tensor contractions.

연구 동기 및 목표

• GPU 가속 텐서 대수 워크로드에서 텐서 전치 연산의 성능 저하 문제를 해결하기 위해.
• 프로파일 기반 튜닝에 의존하지 않고도 랭크 2에서 12까지의 모든 랭크에서 고성능을 유지할 수 있는 라이브러리를 설계하기 위해.
• 분석적 GPU 성능 모델을 기반으로 최적의 전치 알고리즘 파라미터를 선택하는 런타임 히우리스틱을 개발하기 위해.
• TAL-SH 텐서 대수 라이브러리에 매우 최적화된 전치 커널을 통합하여 텐서 수축에서의 오버헤드를 최소화하기 위해.

제안 방법

• 라이브러리는 두 가지 GPU 최적화된 전치 알고리즘을 사용하며, 모두 공유 메모리를 활용하여 전역 메모리 액세스 산산이 흩어지는 것을 줄입니다.
• 스레드 병렬 알고리즘을 사용해 텐서 요소의 메모리 주소를 동시에 계산함으로써 분기 분리( divergence )를 최소화하고 코ales싱을 극대화합니다.
• 프로파일링이 필요 없이 지연 시간과 할당량을 추정할 수 있는 분석적 GPU 성능 모델에 기반한 히우리스틱 파라미터 선택 기법을 구현합니다.
• 성능 모델을 통해 런타임에 텐서 랭크와 형상에 따라 최적의 블록 크기와 타일 크기를 동적으로 선택할 수 있습니다.
• TAL-SH 텐서 대수 라이브러리에 cuTT를 통합하여 텐서 수축 워크로드에서의 종단 간 성능을 평가합니다.
• cuTT는 랭크 2에서 12까지의 텐서 랭크를 지원하며, 알고리즘 최적화 덕분에 랭크에 영향을 받지 않는 성능를 유지합니다.

실험 결과

연구 질문

• RQ1 프로파일 기반 튜닝에 의존하지 않고도 다양한 텐서 랭크에서 고성능을 달성할 수 있는 텐서 전치 라이브러리가 존재할 수 있는가?
• RQ2 성능 측정 없이도 런타임에 최적의 알고리즘 파라미터를 선택할 수 있는 방법은 무엇인가?
• RQ3 최적화된 커널을 사용할 경우 텐서 수축 워크로드에서 텐서 전치 오버헤드를 얼마나 낮출 수 있는가?
• RQ4 공유 메모리와 스레드 병렬 인덱싱의 사용이 텐서 전치에서 메모리 액세스 패턴을 어떻게 향상시키는가?
• RQ5 분석적 성능 모델이 현대 GPU에서 텐서 전치 커널의 파라미터 선택을 정확하게 안내할 수 있는가?

주요 결과

• cuTT는 텐서 랭크에 영향을 받지 않으며, 랭크 2에서 12까지 높은 효율성을 유지합니다.
• 라이브러리의 성능는 코드 생성 기반 접근 방식과 비교해도 열 劣하지 않으며, 경쟁적인 최적화 성능를 입증합니다.
• 분석적 성능 모델을 통해 프로파일링이나 벤치마킹 없이도 효과적인 런타임 파라미터 선택이 가능합니다.
• TAL-SH에 cuTT를 통합함으로써 산술적으로 집중적인 수축 워크로드에서 텐서 전치 오버헤드를 최소 1%까지 낮출 수 있었습니다.
• 공유 메모리와 스레드 병렬 메모리 인덱싱의 사용은 전역 메모리 액세스 산산이 흩어지는 것을 크게 줄이고 대역폭 활용도를 향상시킵니다.