[논문 리뷰] Efficient implementation of the overlap operator on multi-GPUs

Andrei Alexandru, Michael Lujan외 3명|arXiv (Cornell University)|2011. 06. 24.

Advanced Data Storage Technologies참고 문헌 11인용 수 5

한 줄 요약

이 논문은 라티스 QCD 시뮬레이션을 위한 다중 GPU 환경에서 오버랩 연산자의 효율적인 구현을 제시한다. 행렬 부호 함수에 대한 다항식 근사와 최적화된 dslash 루틴을 활용하여 높은 성능을 달성한다. 이 방법은 GPU당 22~35개의 CPU 코어에 해당하는 성능을 제공하며, 32개의 GPU는 3.5시간에 256코어 CPU 클러스터가 13.5시간 소요하는 작업을 수행한다.

ABSTRACT

Lattice QCD calculations were one of the first applications to show the potential of GPUs in the area of high performance computing. Our interest is to find ways to effectively use GPUs for lattice calculations using the overlap operator. The large memory footprint of these codes requires the use of multiple GPUs in parallel. In this paper we show the methods we used to implement this operator efficiently. We run our codes both on a GPU cluster and a CPU cluster with similar interconnects. We find that to match performance the CPU cluster requires 20-30 times more CPU cores than GPUs.

연구 동기 및 목표

• 오버랩 연산자의 높은 메모리 사용량으로 인해 다중 GPU 시스템에서 대규모 라티스 QCD 시뮬레이션을 가능하게 하기 위해.
• 단일 GPU의 메모리 한계를 극복하기 위해 계산을 다수의 GPU에 분산시키기 위해.
• 수치적으로 복잡한 오버랩 연산자에 대해 다중 GPU 클러스터에서 높은 성능과 강한 스케일링을 달성하기 위해.
• GPU 성능을 CPU 클러스터와 비교하고 GPU-대-CPU 코어 효율 비율을 정량화하기 위해.
• 오버랩 연산자에서 행렬 부호 함수에 대한 근사 방법을 평가하고 최적화하기 위해.

제안 방법

• 오버랩 연산자를 계산하기 위해 행렬 부호 함수에 대한 다항식 근사를 사용하여 Hw 스펙트럼 전반에서 오차를 최소화한다.
• 고성능을 위해 GPU에서 매우 최적화된 dslash 루틴을 구현하며, 메모리 액세스 패턴을 고대역폭 및 코ales싱에 최적화한다.
• 라티스를 다수의 GPU에 분할하기 위해 도메인 분할 전략을 적용하여 확장 가능한 메모리 분포를 가능하게 한다.
• Hw와 D의 고유벡터를 계산하기 위해 암시적 재시작 아르놀디 방법을 사용하며, 편극 고유벡터를 반으로 줄여 메모리에 저장한다.
• 동적 정밀도 제어 기능을 갖춘 적응형 정밀도 공액 기울기 해법을 사용하여 쿼크 전파함수를 효율적으로 계산한다.
• 기준 비교를 위해 이중패스 알고리즘을 사용하지만, 성능과 정확도 측면에서 다항식 근사가 뛰어나다는 것을 발견한다.

실험 결과

연구 질문

• RQ1 오버랩 연산자를 다중 GPU에 효율적으로 병렬화하여 그 높은 메모리 사용량을 처리할 수 있는 방법은 무엇인가?
• RQ2 다중 GPU 환경에서 행렬 부호 함수에 대한 근사 방법으로 다항식 또는 이중패스 중 어느 것이 성능과 정확도 측면에서 더 우수한가?
• RQ3 dslash 루틴과 전체 쿼크 전파함수 계산에서 GPU-대-CPU 코어 성능 비율은 얼마인가?
• RQ4 유사한 인터커넥트 속도를 가진 CPU 클러스터와 비교했을 때 다중 GPU 오버랩 연산자 구현의 성능은 어떻게 되는가?
• RQ5 Hw와 D용 고유값 해법을 GPU 메모리로 효율적으로 이관할 수 있으며, 벡터를 CPU 메모리로 이동했을 때 성능에 어떤 영향을 미치는가?

주요 결과

• 행렬 부호 함수에 대한 다항식 근사는 이중패스 알고리즘보다 성능이 뛰어나며, 더 적은 반복 수를 요구하고 더 높은 성능을 달성한다.
• 32개 GPU에서의 dslash 루틴은 24개 CPU 코어에 해당하는 성능을 내며, 강한 스케일링 효율성이 50%에 이른다.
• Hw 고유벡터 200개를 정밀도 10^-10로 계산하는 데 32개 GPU는 2.7시간이 소요되며, 256코어 CPU 클러스터는 10.6시간이 소요되어 26코어 성능 등가를 달성한다.
• 쿼크 전파함수 계산에 사용된 적응형 CG 방법은 표준 CG 대비 60% 더 빠르며, GPU에서 35코어 성능 등가를 달성한다.
• GPU 메모리 한계로 인해 아르놀디 벡터를 CPU 메모리에 저장할 경우 성능 저하가 50~60%에 그치며, 하이브리드 메모리 전략의 타당성을 확인한다.
• 종합적으로 전체 쿼크 전파함수 계산은 32개 GPU에서 3.5시간에 완료되며, 256코어 CPU 클러스터는 13.5시간이 소요되어 GPU-대-CPU 코어 성능 우수성이 일관되게 22~35배로 확인된다.