[논문 리뷰] Iterative Retraining of Quantum Spin Models Using Recurrent Neural Networks

Christopher C. Roth|arXiv (Cornell University)|2020. 03. 09.

Quantum many-body systems참고 문헌 32인용 수 23

한 줄 요약

이 논문은 레이저 이동을 RNN 시간 단계로 매핑하여 반복적 재학습을 통해 대규모 양자 스핀 시스템을 시뮬레이션하는 반복적 재학습 방법을 제안한다. 이는 1차원 및 2차원에서 점진적인 모델 확장을 통해 지구 상태를 효율적으로 학습할 수 있도록 하며, 동일한 모델을 점차 커지는 격자에 대해 반복적으로 재학습시켜 큰 시스템에서 정확한 지구 상태 에너지 추정치를 도출한다. 이 방법은 이동 대칭성과 대칭성 강제를 활용하여 성능을 향상시킨다.

ABSTRACT

Modeling quantum many-body systems is enormously challenging due to the exponential scaling of Hilbert dimension with system size. Finding efficient compressions of the wavefunction is key to building scalable models. Here, we introduce iterative retraining, an approach for simulating bulk quantum systems that uses recurrent neural networks (RNNs). By mapping translations in the lattice vector to the time index of an RNN, we are able to efficiently capture the near translational invariance of large lattices. We show that we can use this symmetry mapping to simulate very large systems in one and two dimensions. We do so by 'growing' our model, iteratively retraining the same model on progressively larger lattices until edge effects become negligible. We argue that this scheme generalizes more naturally to higher dimensions than Density Matrix Renormalization Group.

연구 동기 및 목표

• 지수적 힐베르트 공간 스케일링으로 인해 어려운 강한 상관관계가 있는 양자 다체계 시뮬레이션 문제를 해결하기 위해.
• 모서리 효과를 최소화하면서 1차원 및 2차원에서 양자 막대 시스템을 확장 가능한 방법으로 시뮬레이션하기 위해.
• 격자 시스템에서의 이동 대칭성을 RNN의 시간적 동역학으로 매핑하여 활용하기 위해.
• 반복적 재학습을 통해 매우 큰 시스템에서 파동함수 안자수의 효율적이고 데이터 효율적인 훈련을 가능하게 하기 위해.
• 기존의 밀도 행렬 굴절 방법(DMRG)과 비교해 고차원으로의 일반화가 자연스럽게 가능하도록 하기 위해.

제안 방법

• 반복적 재학습을 통해 동일한 모델 아키텍처를 점차 커지는 격자에 재사용함으로써, 레이저 이동을 RNN 시간 단계로 매핑하여 이동 대칭성을 인코딩하는 RNN을 변분 파동함수의 파arameter화에 사용한다.
• 격자 위치의 스핀을 시간 단계로 매핑하여 이동 대칭성을 인코딩하고, 조건부 확률의 곱으로 파동함수를 계산하는 자동재귀적 RNN 기반 안자수를 사용한다.
• 에너지 기대값을 최소화하기 위해 변분 몬테카를로와 확률적 경사 하강법(Adam 최적화기)을 사용한다.
• 반복적 재학습을 구현: 각 변형에서 두 개의 전자를 모서리에 추가하면서 동일한 모델을 점차 커지는 격자에 대해 재학습시키며, 이전 체크포인트에서 초기화한다.
• 예를 들어 이동, 스핀-회전 대칭성 등의 물리적 대칭성을 평균 내기 및 순환 단계 평균을 사용하여 파동함수에 강제한다.
• 가짜 엔트로피 정규화와 자화 페널티를 손실 함수에 추가하여 최적화의 안정성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간 색인을 시간 색인으로 매핑함으로써 RNN이 양자 스핀 시스템에서 이동 대칭성을 효과적으로 인코딩할 수 있는가?
• RQ2 점차 커지는 격자에 대해 동일한 RNN 모델을 반복적으로 재학습함으로써 1D 및 2D 양자 스핀 시스템에서 정확한 지구 상태 에너지 추정치를 도출할 수 있는가?
• RQ3 대칭 연산에 대한 평균을 통해 대칭성을 후행적으로 강제하면 RNN 기반 파동함수 안자수의 일반화 성능과 정확도가 향상되는가?
• RQ4 반복적 재학습 기법이 전통적인 방법보다 모서리 효과를 줄이고 대규모 시스템에서 막대 성질을 더 효율적으로 시뮬레이션할 수 있는가?
• RQ5 가짜 엔트로피 정규화 및 자화 페널티 항의 포함 여부가 RNN 기반 양자 파동함수 최적화의 수렴성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 반복적 재학습 방법은 동일한 모델 아키텍처를 유지하면서 점차 커지는 격자 크기로 1D 및 2D 대규모 양자 스핀 시스템을 성공적으로 시뮬레이션한다.
• 80 스핀의 1D 시스템에서, 이론적 기준치와 일치하는 지구 상태 에너지 추정치를 도출하였으며, 10,000 훈련 스텝 동안 에너지 수렴이 관찰되었다.
• 2D에서는 6×6 격자에 적용되었고, 반복적 재학습을 통해 30×30 시스템으로 확장되었으며, 에너지 추정치는 2,000회 피니팅 스텝 이후 안정화되었다.
• 대칭 강제 파동함수 노름 사용으로 일반화 성능이 향상되었으며, 대칭 처리된 모델은 다양한 격자 크기에서 일관된 성능을 보였다.
• 가짜 엔트로피 정규화 항과 자화 페널티 항을 추가함으로써 힐베르트 공간의 균일한 샘플링이 이루어지고 반복적 재학습 중 수렴 속도가 빨라졌다.
• 특히 전통적 방법인 DMRG가 한계를 보이는 고차원 시스템에서, 안정성과 확장성 측면에서 표준 RNN 훈련보다 뛰어난 성능을 보였다.