[논문 리뷰] Massively Parallel Tensor Network State Algorithms on Hybrid CPU-GPU Based Architectures

Andor Menczer, Örs Legeza|arXiv (Cornell University)|2023. 05. 09.

Distributed and Parallel Computing Systems인용 수 6

한 줄 요약

이 논문은 고성능 계산(HPC) 환경에 최적화된 대규모 병렬 처리, 하이브리드 CPU-GPU 텐서 네트워크 상태 알고리즘을 제시하며, Maze-Runner 작업 스케줄링, TTCache 메모리 관리, SBMM4S 배치 행렬 곱셈과 같은 새로운 기법들을 도입한다. CPU-only 실행 대비 최대 20배의 성능 향상을 기록하고, 8개의 A100 GPU에서 약 엑사플롭 성능을 달성하여 하이퍼스페이스 차원이 2.88×10^36에 이르는 강한 상관성 시스템의 효율적 시뮬레이션을 가능하게 한다.

ABSTRACT

The interplay of quantum and classical simulation and the delicate divide between them is in the focus of massively parallelized tensor network state (TNS) algorithms designed for high performance computing (HPC). In this contribution, we present novel algorithmic solutions together with implementation details to extend current limits of TNS algorithms on HPC infrastructure building on state-of-the-art hardware and software technologies. Benchmark results obtained via large-scale density matrix renormalization group (DMRG) simulations are presented for selected strongly correlated molecular systems addressing problems on Hilbert space dimensions up to $2.88 imes10^{36}$.

연구 동기 및 목표

• 클래식 컴퓨팅을 활용해 양자 다체계 시뮬레이션의 지수적 스케일링 문제를 해결하기 위해 텐서 네트워크 상태(TNS) 방법을 활용한다.
• 대규모 병렬 처리를 통해 고성능 계산(HPC) 아키텍처에서 밀도 행렬 다각형화(DMRG) 시뮬레이션의 한계를 확장한다.
• 양자 화학 및 응집물리 분야에서 대규모 텐서 연산을 처리하기 위한 효율적이고 확장성 있고 이식 가능한 하이브리드 CPU-GPU 시스템 알고리즘 솔루션을 개발한다.
• 최적화된 하드웨어 활용과 저비용 작업 스케줄링을 통해 장거리 상호작용을 포함한 페타스케일 양자 다체계 시뮬레이션을 가능하게 한다.

제안 방법

• 작업 스케줄링을 단순화하기 위해 역할 없는 경량 태스크 병렬 처리 모델인 Maze-Runner를 도입하여 태스크를 그룹화하고 동일한 스레드 사용을 가능하게 하여 변동성이 큰 워크로드에서 오버헤드를 감소시킨다.
• 데이터를 속성으로 분할하고 이를 실행 블록에 매핑하는 계층적 가상 메모리 주소 체계인 TTCache를 제안하여 중복 I/O, 메모리 분할, 할당 비용을 최소화한다.
• 스트라이드 메모리 액세스와 오프셋 기반 배치를 활용해 다중 행렬-벡터 연산을 효율적으로 혼합 실행할 수 있는 0비용 합산 감소를 갖춘 배치 행렬 곱셈 커널인 SBMM4S를 개발한다.
• CPU와 GPU의 저수준 SIMD 실행과 고수준 HPC 작업 스케줄링을 조합한 다층 병렬화 전략을 적용하여 다양한 하드웨어 및 소프트웨어 추상화 계층에서 독립적으로 실행 가능하게 한다.
• 장거리 상호작용을 포함한 일반 모델 해밀토니안을 위해 DMRG 알고리즘을 최적화하여 대규모 텐서 연산을 확장 가능한 독립적인 벡터 및 행렬 연산으로 대체한다.
• MPI 프로토콜을 하이브리드 CPU-다중 GPU 프레임워크로 이관하여 다중 노드 간 분산 계산을 지원하고 페타스케일 시뮬레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 하이브리드 CPU-GPU 아키텍처가 강한 상관성 시스템의 텐서 네트워크 상태 시뮬레이션에서 약 엑사플롭 성능을 달성할 수 있는가?
• RQ2 양자 다체계 시뮬레이션에서 흔히 발생하는 비정규적이고 변동성이 큰 워크로드에서 작업 스케줄링 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 대규모 텐서 네트워크 계산에서 I/O, 분할, 할당 비용을 줄이기 위해 메모리 액세스 패턴을 얼마나 최적화할 수 있는가?
• RQ4 0비용 합산 감소를 갖춘 배치 행렬 곱셈이 DMRG 시뮬레이션의 대각화 단계에서 성능을 크게 향상시킬 수 있는가?
• RQ5 GPU 가속기의 수를 늘릴수록 제안된 알고리즘의 스케일링 행동은 어떻게 되며, 현대 하드웨어의 이론적 성능 한계에 도달할 수 있는가?

주요 결과

• 하이브리드 CPU-다중 GPU 구현은 단일 GPU를 사용할 경우에도 CPU-only 실행 대비 2–4배의 성능 향상을 기록하며, 여러 가속기에서 선형적으로 성능이 스케일링된다.
• 8개의 NVIDIA A100-PCIE-40GB GPU를 사용할 경우, 시스템은 77.6 TFLOPS에 도달하여 하드웨어 구성의 이론적 최고 성능인 77.6 TFLOPS에 근접한다.
• 큰 결합 차원 D에 대해 총 시뮬레이션 시간은 이중 로그 스케일에서 선형적으로 감소하며, CPU-only 실행 대비 8개 GPU를 사용할 경우 20배 이상의 성능 향상을 기록한다.
• 알고리즘이 CAS(18,18) 공간에서 F2 분자의 효과적 해밀토니안을 성공적으로 대각화하여 하이퍼스페이스 차원이 최대 2.88×10^36까지 처리할 수 있다.
• 양자 화학 분야의 벤치마크 시스템인 FeMoco 클러스터는 최적화된 GPU 가속 DMRG 방법을 통해 효율적으로 시뮬레이션되었으며, 실제 강한 상관성 시스템에의 적용 가능성을 입증한다.
• 제안된 기법들인 Maze-Runner, TTCache, SBMM4S는 효율적이고 저비용이며 고도로 확장 가능한 실행을 가능하게 하여 장거리 상호작용을 포함한 양자 다체계의 페타스케일 시뮬레이션을 위한 길을 열었다.