[논문 리뷰] The LISE package: solvers for static and time-dependent superfluid local density approximation equations in three dimensions

Shi Jin, Kenneth J. Roche외 3명|arXiv (Cornell University)|2020. 09. 01.

Nuclear physics research studies참고 문헌 72인용 수 42

한 줄 요약

LISE 패키지는 대규모 핵분열, 중성자 충돌 및 양자화된 비틀림 운동을 비대칭 제약 없이 시뮬레이션할 수 있도록 3차원 좌표 공간에서 정적 및 시간에 따라 변화하는 초유체 국소 밀도 근사식(SLDA) 방정식을 고도로 최적화된 GPU 가속 솔버로 제공한다. 이는 Summit 및 Piz Daint와 같은 엑사스케일 시스템에서 거의 완벽한 강한 스케일링을 달성하며, 아담스-배시포스-밀린 예측-보정 알고리즘을 사용해 시간 적분 정확도가 ∼O(∆t)⁶에 도달하고, FFT 기반 공간 도함수를 활용한다.

ABSTRACT

Nuclear implementation of the density functional theory (DFT) is at present the only microscopic framework applicable to the whole nuclear landscape. The extension of DFT to superfluid systems in the spirit of the Kohn-Sham approach, the superfluid local density approximation (SLDA) and its extension to time-dependent situations, time-dependent superfluid local density approximation (TDSLDA), have been extensively used to describe various static and dynamical problems in nuclear physics, neutron star crust, and cold atom systems. In this paper, we present the codes that solve the static and time-dependent SLDA equations in three-dimensional coordinate space without any symmetry restriction. These codes are fully parallelized with the message passing interface (MPI) library and take advantage of graphic processing units (GPU) for accelerating execution. The dynamic codes have checkpoint/restart capabilities and for initial conditions one can use any generalized Slater determinant type of wave function. The code can describe a large number of physical problems: nuclear fission, collisions of heavy ions, the interaction of quantized vortices with nuclei in the nuclear star crust, excitation of superfluid fermion systems by time dependent external fields, quantum shock waves, domain wall generation and propagation, the dynamics of the Anderson-Bogoliubov-Higgs mode, dynamics of fragmented condensates, vortex rings dynamics, generation and dynamics of quantized vortices, their crossing and recombinations and the incipient phases of quantum turbulence.

연구 동기 및 목표

• 대칭 제약 없이 3차원에서 정적 및 시간에 따라 변화하는 초유체 국소 밀도 근사식(SLDA/TDSLDA) 방정식을 해결하기 위한 확장 가능하고 고성능 계산 프레임워크를 개발한다.
• 핵물리학, 중성자별의 외피 및 초냉각 원자계에서의 복잡한 양자 다체 현상을 대규모로 시뮬레이션할 수 있도록 한다.
• CPU-GPU 데이터 이동 최소화 및 메시지 전달 오버헤드 최소화를 통한 MPI 병렬화와 GPU 가속을 활용해 현대 초고성능 컴퓨터에서 최적의 성능를 달성한다.
• 일반화된 슬래터 행렬식 파동함수를 통한 견고한 초기 조건 설정과 장시간 동역학을 위한 체크포인트/재시작 기능을 제공한다.
• 분열, 비틀림 운동, 양자 충격파, 초기 양자 난류 현상과 같은 다양한 물리 문제를 지원한다.

제안 방법

• 유한차분 근사법을 사용해 TDSLDA 방정식을 3차원 공간 격자에 이산화한다.
• 공간 도함수의 효율적 계산을 위해 빠른 푸리에 변환(FFT)을 활용한다.
• 예측-수정-보정 시간 적분 알고리즘(아담스-배시포스-밀린)을 사용하며, 정확도는 ∼O(∆t)⁶에 도달하고 오차가 매우 작다.
• 분산 메모리 아키텍처를 위한 MPI를 통한 완전한 병렬화와 CUDA를 활용한 GPU 가속을 구현한다.
• 체크포인트/재시작 기능과 일반화된 슬래터 행렬식 파동함수로부터의 초기 조건 설정을 지원한다.
• TDSLDA-opt 변형에서는 CPU-GPU 데이터 전송 횟수를 최소화하고 CPU 기반 루틴 호출 횟수를 줄여 대규모 GPU 클러스터에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 SLDA/TDSLDA 방정식을 위한 완전한 3차원 비대칭 해소가 수천 개의 GPU에 걸쳐 효율적으로 병렬화될 수 있는가?
• RQ2 Summit 및 Piz Daint와 같은 현대 엑사스케일 슈퍼컴퓨터에서 LISE 코드의 성능 스케일링은 어떻게 되는가?
• RQ3 GPU 가속과 최적화된 시간 적분이 기존의 TDHF+BCS 코드에 비해 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 비틀림 재결합, 영역벽 전파 및 앤더슨-보골리우브-헤이그 모드 운동과 같은 복잡한 양자 현상을 정확하게 시뮬레이션할 수 있는가?
• RQ5 특히 고노드 수에서 강한 스케일링의 주요 성능 저하 요인은 무엇인가?

주요 결과

• LISE 코드는 Summit 및 Piz Daint에서 거의 완벽한 강한 스케일링을 달성하며, GPU 커널 실행 시간이 최대 1,800개 GPU까지 거의 일정하게 유지된다.
• 노드 간 및 GPU 간 통신 비용이 약 180~200개 노드를 초과하면 지배적이 되어 메시지 전달 오버헤드로 인해 스케일링 한계에 도달함을 시사한다.
• 최적화된 버전(TDSLDA-opt)은 CPU-GPU 데이터 전송 호출 횟수를 줄여 대규모 GPU 클러스터에서 성능 향상을 이룬다.
• Summit에서 TDSLDA 코드는 30×30×60 격자에 대해 240개 노드(442,368개 GPU)를 사용해 시간 단위 벽시간이 7.18 × 10⁻⁹초로 측정되어 엑사스케일 준비 상태임을 입증한다.
• 유사 문제에 대해 최신의 TDHF+BCS 코드인 Sky3D에 비해 벽시간 기준 약 100배 빠른 성능 향상을 보이며, 훨씬 뛰어난 시간 적분 정확도와 GPU 활용도 덕분이다.
• Jaguar, Titan, Piz Daint, Tsubame, Summit, Sierra 등 여러 리더십 수준의 시스템에서 성공적으로 배포되고 벤치마킹되었으며, 이는 이식성과 고성능를 확인한다.