[논문 리뷰] High-level GPU programming in Julia

Tim Besard, Pieter Verstraete외 1명|arXiv (Cornell University)|2016. 04. 12.

Parallel Computing and Optimization Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 Julia에서 고수준 GPU 프로그래밍 프레임워크를 제안하며, LLVM를 사용해 Julia 코드를 직접 PTX로 컴파일함으로써 NVIDIA GPU용으로 작동하도록 한다. 이 프레임워크는 고수준 추상화를 통해 저수준 CUDA API 상호작용을 추상화하며, 수동 최적화된 CUDA C++와 거의 동일한 성능을 달성하면서도 개발자 작업을 크게 줄인다.

ABSTRACT

GPUs are popular devices for accelerating scientific calculations. However, as GPU code is usually written in low-level languages, it breaks the abstractions of high-level languages popular with scientific programmers. To overcome this, we present a framework for CUDA GPU programming in the high-level Julia programming language. This framework compiles Julia source code for GPU execution, and takes care of the necessary low-level interactions using modern code generation techniques to avoid run-time overhead. Evaluating the framework and its APIs on a case study comprising the trace transform from the field of image processing, we find that the impact on performance is minimal, while greatly increasing programmer productivity. The metaprogramming capabilities of the Julia language proved invaluable for enabling this. Our framework significantly improves usability of GPUs, making them accessible for a wide range of programmers. It is available as free and open-source software licensed under the MIT License.

연구 동기 및 목표

• CUDA C++나 저수준 CUDA API 상호작용 없이 Julia에서 고수준 GPU 프로그래밍을 가능하게 하기 위해.
• GPU 계산에서 고수준 추상화로 인한 성능 오버헤드를 제거하기 위해.
• CUDA 드라이버 상호작용 및 커널 실행 관리 자동화를 통해 개발자 생산성을 향상시키기 위해.
• Julia의 메타프로그래밍과 JIT 컴파일 기능을 활용해 다양한 하드웨어에서 이식 가능하고 고성능 GPU 계산을 지원하기 위해.
• LLVM와 PTX를 통해 고수준 Julia 코드를 직접 GPU 기계어로 컴파일하는 것이 가능하고 효율적인지를 입증하기 위해.

제안 방법

• GPU 실행을 위해 LLVM 인fra구조를 사용해 Julia 소스 코드를 PTX 중간 표현으로 컴파일하기.
• Julia의 JIT 컴파일 및 타입 전문화 기능을 활용해 런타임에 고도로 최적화된 GPU 커널을 생성하기.
• 장치 메모리 관리, 커널 실행, 스트림 처리를 추상화한 고수준 CUDA API 래퍼 구현하기.
• Julia의 메타프로그래밍 및 코드 생성 기능을 활용해 런타임 비용 없이 효율적이고 장치에 특화된 코드를 생성하기.
• 고수준 언어 구문을 통해 저수준 CUDA 드라이버 상호작용(예: 모듈 생성, 함수 로딩, 커널 실행)을 자동화하기.
• 실제 이미지 처리 알고리즘(트레이스 변환)을 사용해 프레임워크를 검증하고 CUDA C++ 및 Julia 구현과 성능 비교하기.

실험 결과

연구 질문

• RQ1 고수준 GPU 커널을 Julia에서 작성하고 실행할 수 있으며, 손수 최적화된 CUDA C++와 유사한 성능을 달성할 수 있는가?
• RQ2 Julia의 메타프로그래밍과 JIT 컴파일이 GPU 프로그래밍에서 런타임 오버헤드를 얼마나 효과적으로 제거할 수 있는가?
• RQ3 기존 CUDA C++ 개발에 비해 이 프레임워크는 개발자 노력에 얼마나 큰 감소 효과를 가져다주는가?
• RQ4 고수준 추상화가 성능 손실 없이 저수준 CUDA API 호출을 완전히 대체할 수 있는가?
• RQ5 LLVM과 PTX를 통해 Julia 코드를 직접 GPU 실행용 기계어로 컴파일하는 것이 이식성과 성능을 유지하면서도 실현 가능한가?

주요 결과

• Julia로 GPU 커널을 작성하는 데서 발생하는 성능 영향은 거의 없으며, 실행 시간이 손수 최적화된 CUDA C++ 코드와 1-2% 이내로 매우 근접해 있다.
• 실제 이미지 처리 사례 연구에서 프레임워크는 보일러플레이트 코드를 약 100줄 감소시켜 개발자가 알고리즘 논리에 집중할 수 있도록 했다.
• 모든 GPU 상호작용이 자동화되어 수동 CUDA API 호출이 제거되고 개발자의 인지 부담이 줄어들었다.
• 자동 타입 전문화와 JIT 컴파일을 지원해 이식성을 희생시키지 않고도 고성능을 달성할 수 있었다.
• 해결책은 완전히 오픈소스이며, CUDA API 래퍼의 추상화 계층 덕분에 비-CUDA 하드웨어와도 호환된다.
• 고수준 언어가 고도의 코드 생성 및 컴파일 기법과 결합될 경우, 거의 최고 성능에 도달할 수 있음을 입증했다.