[논문 리뷰] Accelerating QDP++/Chroma on GPUs

Frank Winter|arXiv (Cornell University)|2011. 11. 23.

Parallel Computing and Optimization Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 Just-in-Time (JIT) 컴파일을 통한 사용자 표현식의 컴파일 및 GPU 메모리에 대한 소프트웨어 기반 LRU 캐시를 활용하여 NVIDIA GPU에서 라티스 QCD 표현식 평가를 가속화하기 위해 QDP++/Chroma를 확장한다. 이전에 최적화에서 간과되었던 비 커널 루틴들을 GPU에서 실행하여 오프로드함으로써, Chroma 워크플로우에서 Amdahl의 법칙에 의한 제약을 크게 줄이며 총 10배 이상의 속도 향상을 달성한다.

ABSTRACT

Extensions to the C++ implementation of the QCD Data Parallel Interface are provided enabling acceleration of expression evaluation on NVIDIA GPUs. Single expressions are off-loaded to the device memory and execution domain leveraging the Portable Expression Template Engine and using Just-in-Time compilation techniques. Memory management is automated by a software implementation of a cache controlling the GPU's memory. Interoperability with existing Krylov space solvers is demonstrated and special attention is paid on 'Chroma readiness'. Non-kernel routines in lattice QCD calculations typically not subject of hand-tuned optimisations are accelerated which can reduce the effects otherwise suffered from Amdahl's Law.

연구 동기 및 목표

• 고도로 최적화된 솔버에도 불구하고 실행 시간의 대부분을 차지하는 비 커널 루틴으로 인해 발생하는 라티스 QCD의 성능 저하 문제를 해결한다.
• 사용자 정의 표현식을 위한 GPU 실행을 지원하기 위해 QDP++를 확장하여 스메어링과 컨트랙션과 같은 비 커널 연산의 가속화를 가능하게 한다.
• QUDA의 페르미온 행렬 역행렬 계산과의 완전한 상호운용성을 확보하면서, 통합된 소프트웨어 캐시를 통해 GPU 메모리 공유를 수행한다.
• 확장된 QDP++ 스택에서 GPU 가속을 지원하는 Chroma 컴파일 및 실행이 성공적으로 이루어지도록 함으로써 'Chroma 준비성'을 입증한다.
• 라티스 객체의 장치 메모리 소속성을 관리하는 런타임 소프트웨어 캐시를 통해 CPU-GPU 데이터 전송 오버헤드를 줄인다.

제안 방법

• 사용자 표현식을 동적 CUDA 커널 생성을 통해 Just-in-Time (JIT) 컴파일을 통해 GPU에 오프로드한다.
• 표현식을 추상 구문 트리로 표현하기 위해 Portable Expression Template Engine (PETE)를 사용하여 런타임 시 GPU 코드 생성을 가능하게 한다.
• GPU 메모리 관리를 위해 소프트웨어 기반 LRU 캐시를 구현하여 객체의 거주 상태를 추적함으로써 중복된 호스트에서 장치로의 전송을 최소화한다.
• LRU 캐시가 관리하는 공유 장치 메모리 풀로 메모리 할당을 리디렉션하는 호출 워퍼를 통해 QUDA와 통합한다.
• 표현식 AST를 순회하기 위해 트리 파서를 사용하여 GPU 코드를 생성하고, JIT 컴파일 또는 장치 실행을 트리거하기 전에 캐시를 쿼리한다.
• 필요한 GPU 자원이 확보되지 않을 경우 호스트 실행으로의 패러다임 전환을 지원하여 견고성과 후행 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 이전에 최적화되지 않았던 비 커널 라티스 QCD 루틴들이 고수준 C++ 추상화를 통해 GPU에서 효과적으로 가속화될 수 있는가?
• RQ2 Amdahl의 법칙에 따른 제약 속에서 비 커널 연산의 GPU 가속화가 Chroma 워크플로우의 총 실행 시간에 얼마나 기여하는가?
• RQ3 기존 워크플로우를 방해하지 않으면서 QDP++와 QUDA 간에 GPU 메모리 관리를 자동화하고 공유할 수 있는 방법은 무엇인가?
• RQ4 페르미온 행렬 역행렬 계산(기존 QUDA를 통해)과 비 커널 루틴 가속화(JIT 컴파일된 QDP++ 표현식을 통해)가 동일한 GPU에서 동시에 실행될 경우 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ5 포 ortable하고 고수준의 C++ 인터페이스인 QDP++는 포트폴리오나 유지보수성의 손실 없이 이종 GPU 실행을 지원하도록 확장될 수 있는가?

주요 결과

• 비 커널 루틴까지 포함한 모든 Chroma 컴ponent를 가속화함으로써, GTX 480에서 CPU 전용 실행 대비 총 10배 이상의 속도 향상을 달성한 확장된 QDP++는 성능 향상을 입증하였다.
• QUDA를 통한 행렬 역행렬 계산에서 30배의 속도 향상이 있었음에도 불구하고, 솔버만 GPU 가속화된 경우 총 속도 향상은 약 2배에 머물렀으며, 이는 비 커널 루틴이 실행 시간에서 지배적인 역할을 하고 있음을 시사한다.
• 소프트웨어 기반 LRU 캐시는 중복된 GPU 메모리 전송을 줄여 효율성을 향상시키고 QDP++와 QUDA 간의 공유 메모리 관리 가능성을 확보하였다.
• QDP++ 표현식의 JIT 컴파일을 통해 저수준 커널 수동 최적화 없이도 사용자 정의 표현식의 GPU 실행을 가능하게 하였다.
• 메모리 접근을 코alescing한 초기 테스트에서는 지속적인 메모리 대역폭이 6~10배 향상되어 향후 최적화 잠재력이 매우 크다는 것을 시사하였다.
• 구현은 성공적으로 Chroma 컴파일 및 실행을 지원하여 'Chroma 준비성'을 입증하였으며, 라티스 QCD 워크플로우의 엔드 투 엔드 GPU 가속화를 가능하게 하였다.