[논문 리뷰] Bridging the Gap between Deep Learning and Frustrated Quantum Spin System for Extreme-scale Simulations on New Generation of Sunway Supercomputer

Mingfan Li, Junshi Chen외 8명|arXiv (Cornell University)|2021. 08. 31.

Quantum many-body systems참고 문헌 50인용 수 23

한 줄 요약

이 논문은 Sunway 슈퍼컴퓨터에서 2D의 과도한 스핀-1/2 J1–J2 헤이젠베르크 모형을 시뮬레이션하기 위해 확장 가능한 컨volution 신경망(CNN) 기반의 변분 안자와 전이 학습, 그리고 2차 최적화(스토하스틱 리컨피그레이션)를 결합한 방법을 제시한다. 3000만 개 이상의 이질적 코어와 ScaLapack 기반 분산 선형 대수를 활용함으로써, 이전에는 해결 불가능했던 24×24 양자 스핀 시스템을 시뮬레이션하며 딥러닝과 고성능 계산(HPC)의 융합을 통한 양자 다체계 시뮬레이션의 사상적인 규모와 효율성을 입증한다.

ABSTRACT

Efficient numerical methods are promising tools for delivering unique insights into the fascinating properties of physics, such as the highly frustrated quantum many-body systems. However, the computational complexity of obtaining the wave functions for accurately describing the quantum states increases exponentially with respect to particle number. Here we present a novel convolutional neural network (CNN) for simulating the two-dimensional highly frustrated spin-$1/2$ $J_1-J_2$ Heisenberg model, meanwhile the simulation is performed at an extreme scale system with low cost and high scalability. By ingenious employment of transfer learning and CNN's translational invariance, we successfully investigate the quantum system with the lattice size up to $24 imes24$, within 30 million cores of the new generation of sunway supercomputer. The final achievement demonstrates the effectiveness of CNN-based representation of quantum-state and brings the state-of-the-art record up to a brand-new level from both aspects of remarkable accuracy and unprecedented scales.

연구 동기 및 목표

• 2D 과도한 스핀계에서 양자 다체 상태 표현의 지수적 증가 문제를 해결하기 위해.
• 18×18 한계를 초월해 스핀-1/2 J1–J2 헤이젠베르크 모형의 극한 규모 시뮬레이션을 가능하게 하기 위해.
• 딥러닝과 고성능 계산(HPC)을 융합하여 확장 가능하고 저비용이며 정확한 양자 상태 시뮬레이션을 구현하기 위해.
• 몬테카를로 샘플링과 2차 최적화(SR 방법)의 계산 병목 현상을 이종 병렬성과 분산 선형 대수를 통해 해결하기 위해.
• 기존에는 불가능했던 척도에서 CNN 기반 파동함수 표현의 실현 가능성과 우수성을 입증하기 위해.

제안 방법

• 이동 불변성을 갖춘 컨volution 신경망(CNN)을 사용하여 양자 다체 파동함수를 표현함으로써 국소적 연결성과 파rameter 공유를 활용해 효율적인 계산을 구현한다.
• 다양한 격자 크기(예: 10×10에서 24×24로) 간 전이 학습을 적용하여 지식 전이를 가능하게 하고 더 큰 시스템의 학습 비용을 감소시킨다.
• 스토하스틱 리컨피그레이션(SR) 방법을 2차 최적화 기법으로 사용하여 기울기의 통계적 상관관계를 활용해 수렴성과 정확도를 향상시킨다.
• swDNN 라이브러리를 통해 CNN 추론 및 학습을 가속화하여 Sunway 프로세서의 이종 코어에 계산 집약적 작업을 이관한다.
• 병렬 몬테카를로 샘플링을 재구조화하여 각 프로세스당 다수의 독립적 체인을 허용함으로써 처리량을 증가시키고 통신 오버헤드를 감소시킨다.
• 분산 ScaLapack을 사용해 SR 방법에 필요한 대규모 조밀한 선형 대수 연산을 수행함으로써 10만 개 이상의 변분 매개변수에 대한 공분산 행렬을 효율적으로 처리한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 변분 안자는 극한 규모에서 2D 과도한 양자 스핀계를 높은 정확도와 확장성으로 시뮬레이션할 수 있는가?
• RQ2 작은 격자에서 큰 격자(예: 24×24)로의 시뮬레이션을 가능하게 하기 위해 전이 학습을 어떻게 효과적으로 활용할 수 있는가?
• RQ3 딥러닝과 Sunway와 같은 극한 규모의 HPC 시스템을 융합했을 때, 특히 통신 집약적인 워크로드에서 어떤 성능와 확장성이 달성될 수 있는가?
• RQ4 제한된 몬테카를로 샘플 수로 양자 다체 파동함수를 최적화할 때, 2차 최적화(SR) 방법이 1차 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 딥러닝과 HPC의 융합이 강한 상관관계를 가지는 시스템에서 양자 상태 표현의 지수적 복잡도를 극복할 수 있는가?

주요 결과

• 이 방법은 CNN 기반의 변분 접근법을 사용해 24×24 정사각형 격자에서 2D 스핀-1/2 J1–J2 헤이젠베르크 모형을 성공적으로 시뮬레이션하였으며, 이는 이와 같은 큰 시스템이 CNN 기반 방법으로 처음으로 연구된 사례이다.
• Sunway 슈퍼컴퓨터의 3000만 개 이상의 이종 코어를 활용해 시뮬레이션을 수행하였으며, 49만 개의 프로세스에서 92.5%의 병렬 효율성을 달성하였다.
• 전이 학습과 분산 최적화를 활용해 CNN 모델이 이전의 CNN 기반 모델보다 30배 더 큰 106,529개의 변분 매개변수를 달성하였다.
• 기존의 18×18 격자에서의 결과를 크게 능가하는 최상의 정확도로 기저 상태 에너지를 계산하였으며, 검색 공간은 2252배 더 커졌다.
• 분산 ScaLapack의 사용으로 SR 방법에서 큰 공분산 행렬을 효율적으로 계산할 수 있었으며, 2차 최적화에서의 메모리 및 성능 병목 현상을 극복하였다.
• 전이 학습을 통해 작은 사전 학습 모델에서 초기화함으로써 24×24 시스템의 학습 비용을 감소시키고 안정적인 수렴을 달성하였으며, 더 큰 양자 시스템으로의 확장 가능성을 입증하였다.