[논문 리뷰] Distributed-Memory DMRG via Sparse and Dense Parallel Tensor Contractions

Ryan Levy, Edgar Solomonik외 1명|arXiv (Cornell University)|2020. 07. 10.

Tensor decomposition and applications참고 문헌 39인용 수 7

한 줄 요약

이 논문은 분산 메모리 DMRG 구현을 제안하며, 사이클롭스 텐서 프레임워크를 사용하여 효율적인 희소 및 조밀한 병렬 텐서 결합을 통해 양자 다체 시뮬레이션을 가속화한다. 텐서 네트워크의 블록 희소성 특성을 활용함으로써, ITensor 대비 최대 5.9배 빠른 런타임과 99배 향상된 처리 속도를 달성하여 블루 워터스와 스탬피드2와 같은 슈퍼컴퓨터에서 대규모 양자 시스템에 대해 높은 정확도의 계산을 가능하게 한다.

ABSTRACT

The Density Matrix Renormalization Group (DMRG) algorithm is a powerful tool for solving eigenvalue problems to model quantum systems. DMRG relies on tensor contractions and dense linear algebra to compute properties of condensed matter physics systems. However, its efficient parallel implementation is challenging due to limited concurrency, large memory footprint, and tensor sparsity. We mitigate these problems by implementing two new parallel approaches that handle block sparsity arising in DMRG, via Cyclops, a distributed memory tensor contraction library. We benchmark their performance on two physical systems using the Blue Waters and Stampede2 supercomputers. Our DMRG performance is improved by up to 5.9X in runtime and 99X in processing rate over ITensor, at roughly comparable computational resource use. This enables higher accuracy calculations via larger tensors for quantum state approximation. We demonstrate that despite having limited concurrency, DMRG is weakly scalable with the use of efficient parallel tensor contraction mechanisms.

연구 동기 및 목표

• 제한된 동시성과 높은 메모리 사용량을 가진 2차원 양자 시스템에 대한 DMRG 시뮬레이션의 확장성 문제를 해결하기 위해.
• 기존 단일 노드 DMRG의 성능 저하 문제를 해결하기 위해 효율적인 분산 메모리 병렬 처리를 가능하게 하기 위해.
• DMRG에서 U(1) 대칭성과 함께 나타나는 블록 희소 텐서에 특화된 두 가지 신규 병렬 텐서 결합 전략—희소-희소 및 목록 기반—을 개발하고 벤치마킹하기 위해.
• 효율적인 텐서 결합 원리를 사용하여 페타스케일 슈퍼컴퓨터에서 DMRG의 약한 확장성(weak scalability)을 입증하기 위해.
• 단일 노드에서 이전에 가능하지 않았던 더 큰 결합 차원과 파동함수 근사치를 허용함으로써 높은 정확도의 시뮬레이션을 가능하게 하기 위해.

제안 방법

• DMRG 알고리즘은 고성능 계산을 위한 분산 메모리 텐서 결합 라이브러리인 사이클롭스 텐서 프레임워크를 사용하여 구현되었다.
• 두 가지 새로운 병렬 접근 방식이 도입되었다: (1) 블록 희소 데이터 구조를 사용한 희소-희소 텐서 결합, (2) 명시적 인덱스 목록을 통한 텐서 블록 관리 방식의 목록 기반 결합.
• 프레임워크는 최적화된 희소 BLAS(MKL) 호출을 활용하며, 분산 메모리 환경에서 조밀 및 희소 텐서 연산을 모두 지원한다.
• 텐서 결합은 아인슈타인 합기 표기법을 사용하여 표현되며, 행렬 곱셈으로 매핑되며, 성능 최적화를 위한 결합 순서가 최적화된다.
• 알고리즘은 양자 시스템의 해밀토니안과 파동함수를 모델링하기 위해 행렬 곱 상태(MPS) 및 행렬 곱 연산자(MPO) 표현을 사용한다.
• 알고리즘은 두 개의 사이트 텐서에 대해 다비드슨 반복을 통해 사이트 최적화를 수행한 후, 결합 차원 제어를 위해 SVD 기반의 잘라내기(truncation)를 수행한다.

실험 결과

연구 질문

• RQ1 분산 메모리 텐서 결합이 정확도를 훼손하지 않으면서도 전통적인 DMRG 알고리즘의 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 텐서 희소성과 시스템 크기에서, 희소-희소 대비 목록 기반의 희소 텐서 저장 및 결합 전략은 어떻게 성능을 보이는가?
• RQ3 효율적인 텐서 결합 원리를 사용할 경우, 페타스케일 슈퍼컴퓨터에서 DMRG가 얼마나 약한 확장성(weak scalability)을 달성할 수 있는가?
• RQ4 더 큰 결합 차원으로 확장할 경우, 런타임, 처리 속도, 자원 비용 간의 성능 트레이드오���은 어떻게 되는가?
• RQ5 하드웨어 아키텍처의 차이(예: 블루 워터스 대비 스탬피드2)가 DMRG에서 희소 텐서 연산의 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 DMRG 구현은 동일한 계산 자원에서 ITensor 대비 최대 5.9배 빠른 런타임과 99배 향상된 처리 속도를 달성하였다.
• 스탠피드2에서 전자 시스템의 m = 8192일 때, 희소-희소 결합 방법은 피크 상대 효율 1.0을 기록하여 거의 이상적인 확장성을 보였다.
• 블루 워터스에서 목록 기반 방법은 m = 32,768일 때 상대 비용의 4.5배를 감수하면서도 처리 속도를 14배 향상시켜 큰 문제에 대해 뛰어난 성능을 보였다.
• 스탠피드2에서 희소-희소 방법은 결합 차원이 4,096에서 32,768로 증가함에 따라 희소 MKL 호출 비중이 14%에서 52%로 증가함을 보였으며, 이는 점점 더 희소 연산 의존도가 높아짐을 의미한다.
• 아키텍처의 차이가 있음에도 불구하고, 두 방법 모두 약한 확장성을 보였으며, 이는 단일 노드의 한계를 훨씬 초월해 최대 64배 높은 메모리 용량과 512배 높은 복잡도의 시뮬레이션을 가능하게 하였다.
• 이 구현은 단일 노드 대비 상대 비용 1.5배를 유지하면서 처리 속도는 99배 향상시켰으며, 이는 복잡한 양자 시스템의 고정밀도 시뮬레이션을 실현 가능하게 하였다.