[논문 리뷰] SIMULATeQCD: A simple multi-GPU lattice code for QCD calculations

L. Mazur, Dennis Bollweg외 15명|arXiv (Cornell University)|2023. 06. 01.

Advanced Data Storage Technologies참고 문헌 63인용 수 4

한 줄 요약

SIMULATeQCD는 고성능 시뮬레이션을 위한 다중 GPU 라티스 QCD 코드로, 매우 향상된 스테이거드 쿼크(HISQ) 작용을 사용한다. 공개된 오픈소스로, CUDA, HIP, SYCL 등 다양한 GPU API를 지원하며, 다양한 하드웨어에서 효율적인 대규모 계산을 가능하게 하며, 현대 엑사스케일 컴퓨팅 환경에서의 유연성, 이식성, 확장성에 최적화되어 있다.

ABSTRACT

The rise of exascale supercomputers has fueled competition among GPU vendors, driving lattice QCD developers to write code that supports multiple APIs. Moreover, new developments in algorithms and physics research require frequent updates to existing software. These challenges have to be balanced against constantly changing personnel. At the same time, there is a wide range of applications for HISQ fermions in QCD studies. This situation encourages the development of software featuring a HISQ action that is flexible, high-performing, open source, easy to use, and easy to adapt. In this technical paper, we explain the design strategy, provide implementation details, list available algorithms and modules, and show key performance indicators for SIMULATeQCD, a simple multi-GPU lattice code for large-scale QCD calculations, mainly developed and used by the HotQCD collaboration. The code is publicly available on GitHub.

연구 동기 및 목표

• 엑사스케일 슈퍼컴퓨팅 환경에서 다수의 GPU 제조사(NVIDIA, AMD, Intel)를 지원하는 이식성 있고 고성능의 라티스 QCD 코드에 대한 증가하는 수요를 충족시키기 위해.
• 라티스 QCD에서 새로운 알고리즘과 물리 모델의 구현을 단순화하는 현대적이고 유지보수 가능하며 확장 가능한 소프트웨어 프레임워크를 제공하기 위해.
• 다중 GPU 및 다중 노드 아키텍처를 지원하며 효율적인 메모리 관리 기능을 갖춘 HISQ 페르미온 작용을 통한 대규모 QCD 시뮬레이션을 가능하게 하기 위해.
• ILDG 데이터 포맷과 오픈소스 개발 관행을 준수하여 HotQCD 및 더 넓은 라티스 QCD 공동체 간의 협업을 촉진하기 위해.
• 저수준 GPU 프로그래밍 세부 사항을 추상화하면서도 고성능과 이식성을 유지함으로써 신규 개발자의 진입 장벽을 낮추기 위해.

제안 방법

• 물리 알고리즘과 저수준 GPU 커널을 분리하는 모듈러하고 추상화 계층을 가진 소프트웨어 아키텍처를 설계하여, CUDA, HIP, SYCL 등 다양한 GPU 프로그래밍 인터페이스를 지원한다.
• 라티스 필드와 게이지 구성에 대한 유연한 인덱싱 시스템을 구현하여 GPU 아키텍처에서 메모리 연속성과 캐시 효율성을 최적화한다.
• HISQ 페르미온 작용을 개선된 게이지 장 구성과 함께 통합하며, 페르미온 행렬식의 네 번째 루트를 사용하여 정확한 물리적 쿼크 종류 수를 복원한다.
• 도메인 분할과 비차단 통신 패tern을 사용하여 다중 GPU 및 다중 노드 병렬 처리를 지원하여 지연 시간을 최소화하고 최대한의 오버랩을 달성한다.
• 개발 및 디버깅을 위해 프리프로세서 매크로를 통한 CPU 전용 컴파일을 지원하지만, 벡터화된 CPU 커널은 아직 구현되지 않았다.
• 명확한 문서화와 함께 가벼운 모듈러 코드베이스를 제공하며, GitHub에 위치한 저장소를 통해 MIT 라이선스 하에 배포되어 공동 기여와 장기적인 유지보수를 장려한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 GPU 프로그래밍 인터페이스(CUDA, HIP, SYCL)를 효율적으로 지원하면서도 고성능과 이식성을 유지할 수 있는 라티스 QCD 코드를 설계할 수 있는가?
• RQ2 다중 GPU 및 다중 노드 시스템에서 HISQ 페르미온 작용의 효율적이고 확장 가능하며 유지보수 가능한 구현을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 현대적인 라티스 QCD 코드는 신규 연구자와 프로젝트가 알고리즘 개발과 하드웨어 이식의 복잡성을 어느 정도 줄일 수 있는가?
• RQ4 SIMULATeQCD 프레임워크는 윌슨 페르미온 작용이나 동적 캄프 쿼크와 같은 새로운 물리 모델의 통합을 얼마나 잘 지원하는가?
• RQ5 다양한 GPU 아키텍처를 가진 현재 및 신개념 엑사스케일 시스템에서 SIMULATeQCD는 어떤 성능 특성을 보이는가?

주요 결과

• SIMULATeQCD는 CUDA, HIP, SYCL 등 다양한 GPU 프로그래밍 인터페이스를 성공적으로 지원하여, Frontier, LUMI, Perlmutter 등 다양한 HPC 시스템 간의 이식성을 확보했다.
• 대규모 라티스에서 높은 성능을 달성하였으며, 다중 GPU 노드에서 강한 스케일링이 관찰되어 QCD 열역학의 엑사스케일 시뮬레이션에 적합하다.
• 모듈러 설계 덕분에 압력의 테일러 전개 계수와 같은 새로운 알고리즘을 최소한의 코드 변경으로 간편하게 구현할 수 있다.
• ILDG 데이터 포맷과의 완전한 호환성을 확보하여 기존의 라티스 QCD 데이터 및 도구와의 상호운용성을 보장한다.
• 이미 HotQCD 협력 연구팀이 QCD 상태 방정식, 채도 전이 온도, 보존 물리량의 변동성 등 정밀도 계산에 SIMULATeQCD를 사용하고 있다.
• 오픈소스로 MIT 라이선스 하에 GitHub에 배포되어 장기적인 유지보수와 공동 개발이 가능하며, 전 세계 여러 기관에서 활발한 기여가 이루어지고 있다.