[논문 리뷰] QCD on GPUs: cost effective supercomputing

M. A. Clark|arXiv (Cornell University)|2009. 12. 11.

Particle physics theoretical and experimental studies참고 문헌 15인용 수 4

한 줄 요약

이 논문은 고성능 단일 정밀도 부동소수점 성능과 메모리 대역폭을 활용하여 GPU 가 격자 양자 chromodynamics(QCD) 계산에 비용 효율적인 플랫폼임을 입증한다. 특히 디랙 연산자와 혼합 정밀도 해법기의 알고리즘 재설계 및 메모리 액세스 패턴 최적화를 통해 높은 성능과 효율성을 달성하였으며, 가격 대비 성능 비율이 최소 $0.02 per Mflop에 이르러 전통적인 HPC 클러스터에 비해 대규모 QCD 시뮬레이션에 있어 실용적인 대안으로서 GPU 를 위치시킨다.

ABSTRACT

The exponential growth of floating point power in graphics processing units (GPUs), together with their low cost, has given rise to an attractive platform upon which to deploy lattice QCD calculations. GPUs are essentially many (O(100)) core chips, that are programmed using a massively threaded environment, and so are representative of the future of high performance computing (HPC). The large ratio of raw floating point operations per second to memory bandwidth that is characteristic of GPUs necessitates that unique algorithmic design choices are made to harness their full potential. We review the progress to date in using GPUs for large scale calculations, and contrast GPUs against more traditional HPC architectures

연구 동기 및 목표

• 대규모 격자 QCD 계산에 GPU 를 사용하는 것의 실현 가능성과 성능을 평가하는 것.
• 거대한 스레드 수준의 병렬 처리와 최적화된 메모리 액세스가 요구되는 GPU 아키텍처에 QCD 알고리즘을 효율적으로 매핑하는 문제를 해결하는 것.
• 격자 QCD 워크로드에 대해 GPU 기반 시스템의 가격 대비 성능를 전통적인 HPC 클러스터와 비교하는 것.
• 다중 GPU 스케일링의 한계와 기회를 탐색하는 것.
• 이종 컴퓨팅 환경에서 Amdahl 법칙의 제약을 극복하기 위해 알고리즘 재설계를 통해 GPU 능력을 최대한 활용할 것을 주장하는 것.

제안 방법

• GPU 를 프로그래밍하기 위해 NVIDIA 의 CUDA 플랫폼을 사용하여 격자 QCD 커널의 세밀한 데이터 병렬 실행을 가능하게 한다.
• 스레드 블록 간의 연속된 메모리 트랜잭션 보장을 통해 메모리 액세스를 최적화하여 대역폭 활용도를 극대화한다.
• 대부분의 연산에 단일 정밀도 산술을 사용하고, 필요한 경우에만 双정밀도를 사용하는 혼합 정밀도 해법기를 적용하여 초기 GPU 에서의 双정밀도 성능 저하를 완화한다.
• 근사 탈리플레이션과 적응형 멀티그리드와 같은 알고리즘 기법을 적용하여 수렴성을 향상시키고 계산 비용을 감소시킨다.
• MPI 를 사용하여 노드 간 통신을 수행하고, 다중 GPU 시스템에서 약한 스케일링을 실현하여 노드당 네 개의 GPU 를 사용할 경우 최대 90% 의 효율성을 달성한다.
• GPU 멀티프로세서에서 메모리 지연을 숨기고 성능을 향상시키기 위해 할당량 최적화 및 공유 메모리 사용을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 격자 QCD 알고리즘을 GPU 아키텍처에 효과적으로 매핑하여 높은 성능을 달성할 수 있는가?
• RQ2 GPU 기반 시스템이 전통적인 HPC 클러스터에 비해 격자 QCD 시뮬레이션에서 성능 및 비용 측면에서 어떤 이점을 가질 수 있는가?
• RQ3 혼합 정밀도 해법기는 QCD 계산에서 수치 정확도를 유지하면서도 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 노드당 다수의 GPU 또는 다수의 노드를 통해 GPU 클러스터의 스케일링 한계는 어디까지인가?
• RQ5 메모리 대역폭, 레지스터 사용량, 공유 메모리와 같은 아키텍처적 특징이 GPU 에서 QCD 커널 성능에 어떤 영향을 미치는가?

주요 결과

• Wilson 유사 이산화에 대해 GPU 는 장치당 약 100 Gflops 의 지속적인 단일 정밀도 성능를 기록하며, 가격 대비 성능 측면에서 기존 CPU 를 크게 앞서나간다.
• 격자 QCD 에 사용된 GPU 클러스터의 가격 대비 성능 비율은 약 $0.02 per Mflop 이며, BG/P 와 같은 전통적인 슈퍼컴퓨터에 비해 훨씬 비용 효율적이다.
• 적절한 알고리즘 최적화를 통해 노드당 네 개의 GPU 를 사용할 경우 약 90% 의 약한 스케일링 효율성을 달성하였으며, 내부 노드 병렬 처리 잠재력이 높다는 것을 입증하였다.
• Fermi 아키텍처의 도입으로 단일 정밀도 대 비해 双정밀도 성능 격차가 2배로 감소하여 QCD 에 핵심적인 双정밀도 계산을 위한 지원이 크게 향상되었다.
• 진전에도 불구하고, PCI Express 대역폭 제약과 통신 오버헤드로 인해 다수의 노드에 걸쳐 다중 GPU 배포는 여전히 도전 과제이며, 향상된 인터커넥트 또는 알고리즘 혁신이 필요하다.
• 단일 정밀도와 双정밀도 간의 메모리 트래픽 차이가 성능에 영향을 미치는 한, 조건이 향상되었더라도 혼합 정밀도 방법은 여전히 필수적이다.