[논문 리뷰] Autotuning GPU Kernels via Static and Predictive Analysis

Robert Lim, Boyana Norris외 1명|arXiv (Cornell University)|2017. 01. 30.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 CUDA 커널을 위한 정적 및 예측 분석 기반 자동 튜닝 프레임워크를 제안하며, 실행 시간 실험을 필요로 하지 않고 PTX 코드 분석을 통해 점유율, 제어 흐름 분리, 자원 사용량을 추정함으로써 이를 해결한다. 이 방법은 near-optimal 스레드 및 블록 구성의 정확한 예측을 가능하게 하여, Orio와 같은 자동 튜닝 프레임워크에서 검색 공간을 크게 줄인다.

ABSTRACT

Optimizing the performance of GPU kernels is challenging for both human programmers and code generators. For example, CUDA programmers must set thread and block parameters for a kernel, but might not have the intuition to make a good choice. Similarly, compilers can generate working code, but may miss tuning opportunities by not targeting GPU models or performing code transformations. Although empirical autotuning addresses some of these challenges, it requires extensive experimentation and search for optimal code variants. This research presents an approach for tuning CUDA kernels based on static analysis that considers fine-grained code structure and the specific GPU architecture features. Notably, our approach does not require any program runs in order to discover near-optimal parameter settings. We demonstrate the applicability of our approach in enabling code autotuners such as Orio to produce competitive code variants comparable with empirical-based methods, without the high cost of experiments.

연구 동기 및 목표

• 실험적 벤치마킹에 의존하지 않고 CUDA 커널에서 최적의 스레드 및 블록 크기를 선택하는 데 도전 과제를 해결한다.
• 실험적 자동 튜닝의 높은 계산 비용을 줄이기 위해 커널 코드의 정적 분석을 통한 예측 모델링을 가능하게 한다.
• 아키텍처적 특징 기반 자동 파rameter 튜닝을 통해 이종 컴퓨팅 환경에서의 성능 이식성과 효율성을 향상시킨다.
• 예측 모델을 자동 튜닝 프레임워크에 통합하여 검색 공간 축소를 이끌고 최적화 속도를 가속화한다.
• 코드 생성기와 컴파일러가 정적 분석을 통한 점유율, 분리, 자원 제약에 대한 통찰을 활용하여 고성능 변형을 생성할 수 있도록 한다.

제안 방법

• 고수준 소스 코드가 아닌 NVIDIA nvcc 컴파일러가 생성한 PTX 중간 코드를 분석하여 아키텍처 특화 동작을 포착한다.
• 제어 흐름 그래프(CFG)를 구축하여 워프 수준 실행에서의 분기 분리 영향과 성능 손실을 탐지하고 정량화한다.
• 커널 구조와 문제 크기에 기반한 레지스터 및 공유 메모리 사용을 모델링하여 GPU 점유율을 추정한다.
• 커널을 실행하지 않고도 지시어 조합, 제어 흐름 특성, 하드웨어 자원 제한을 기반으로 성능을 예측한다.
• 정적 분석기를 Orio 자동 튜닝 프레임워크에 통합하여 정적 통찰을 바탕으로 한 파rameter 공간 탐색을 이끈다.
• 정적 메트릭을 활용하여 스레드 블록 크기 및 레지스터 할당과 같은 최적화 결정을 내려 SM 활용도를 극대화한다.

실험 결과

연구 질문

• RQ1 실행 시간 실행 없이 PTX 코드의 정적 분석이 CUDA 커널에 대한 최적의 스레드 및 블록 구성 설정을 정확하게 예측할 수 있는가?
• RQ2 실험적 방법에 비해 정적 예측이 자동 튜닝을 위한 검색 공간 축소에 얼마나 효과적인가?
• RQ3 정적 분석이 분기 분리 및 자원 미사용과 같은 성능 저하 요인을 탐지하고 정량화하는 데 얼마나 잘 기능하는가?
• RQ4 정적 메트릭 기반 예측 모델이 자동 튜너가 고성능 파라미터 변형을 선택하는 데 얼마나 잘 이끌 수 있는가?
• RQ5 기존 자동 튜닝 파이프라인에 정적 분석을 효과적으로 통합하여 효율성과 확장성을 향상시킬 수 있는가?

주요 결과

• 정적 분석기는 커널 실행이 전혀 필요 없이 CUDA 커널에 대한 near-optimal 스레드 및 블록 구성 설정을 정확하게 예측한다.
• 제어 흐름, 지시어 조합, 자원 제약을 기반으로 높은 정밀도의 예측을 제공함으로써 자동 튜닝을 위한 검색 공간을 줄인다.
• Orio 자동 튜너와의 통합은 정적 통찰을 바탕으로 한 파rameter 선택을 이끌어내어 튜닝 효율을 크게 향상시킨다.
• 이 방법은 실험적 자동 튜닝 방법과 유사한 성능을 달성하지만 계산 비용은 극적으로 낮춘다.
• 정적 분석은 점유율, 분기 분리, 자원 사용량을 효과적으로 모델링하여 GPU 커널에 대한 정확한 성능 예측이 가능하게 한다.
• 점진적인 실험적 검증 및 모델 개선을 통해 향후 확장성이 보장되어 예측 정확도의 지속적 향상이 가능하다.