[논문 리뷰] Supplementing Recurrent Neural Network Wave Functions with Symmetry and Annealing to Improve Accuracy

Mohamed Hibat-Allah, Roger G. Melko외 1명|arXiv (Cornell University)|2022. 07. 28.

Quantum many-body systems인용 수 13

한 줄 요약

이 논문은 기울어진 양자 스핀 체계의 기본 상태 에너지 추정을 향상시키기 위해 대칭성과 냉각을 통합한 복소수 순환 신경망(cRNN) 파동함수를 제안한다. U(1) 및 점군 대칭성(예: $C_{2d}$)을 통합하고 가상의 온도 스케줄을 사용한 변분 냉각을 적용함으로써, 2D 삼각격자 허브하르드 모델에서 $14\times14$ 이상의 크기에서 DMRG보다 낮은 변분 에너지를 달성하여, 부호 문제에 영향을 받는 강한 상관관계가 있는 시스템에서 뛰어난 정확도를 입증한다.

ABSTRACT

Recurrent neural networks (RNNs) are a class of neural networks that have emerged from the paradigm of artificial intelligence and has enabled lots of interesting advances in the field of natural language processing. Interestingly, these architectures were shown to be powerful ansatze to approximate the ground state of quantum systems. Here, we build over the results of [Phys. Rev. Research 2, 023358 (2020)] and construct a more powerful RNN wave function ansatz in two dimensions. We use symmetry and annealing to obtain accurate estimates of ground state energies of the two-dimensional (2D) Heisenberg model, on the square lattice and on the triangular lattice. We show that our method is superior to Density Matrix Renormalisation Group (DMRG) for system sizes larger than or equal to $14 imes 14$ on the triangular lattice.

연구 동기 및 목표

• 기울어진 양자 many-body 시스템에서 부호 문제에 시달리는 RNN 파동함수 안자스의 정확도를 향상시키기 위해.
• 비스투케이식 해밀토니안을 위한 변분 몬테카를로(VMC) 최적화에서 국소 최소값 문제를 해결하기 위해.
• 대칭성 통합과 변분 냉각이 기울어진 스핀 체계에서 수렴성과 에너지 추정에 크게 기여함을 입증하기 위해.
• 크기 증가에 따라 기존 방법(예: DMRG)을 능가하는 확장 가능한 RNN 기반 접근법을 수립하기 위해.

제안 방법

• 자기적 샘플링을 통해 스핀 구성 상태를 모델링하기 위해 자이거패스를 따라 자동회귀 샘플링을 수행하는 2D 텐서화된 게이트형 복소수 RNN(cRNN) 파동함수를 사용한다.
• 이 네트워크는 이웃 스핀과 은닉 상태를 텐서 연산을 통해 조합하는 2D 재귀 관계를 적용하여 2D 상관관계를 인코딩한다.
• U(1) 스핀-회전 불변성, 정사각격자에서는 $C_{4v}$, 삼각격자에서는 $C_{2d}$ 등의 대칭성이 파동함수 아키텍처에 명시적으로 통합되어 변분 정확도가 향상된다.
• 가상의 온도를 $T_0 = 0.25$에서 시작하여 점차 0으로 감소시키는 변분 냉각 기법을 도입하여 VMC 최적화 중 국소 최소값을 회피하는 데 기여한다.
• 학습률 스케줄링을 적용한 Adam 최적화기를 사용해 변분 매개변수를 최적화하고, 수렴 속도를 높이기 위해 마셜 부호 규칙을 적용한다.
• 에너지 추정은 자동회귀 샘플링을 통해 생성된 상관없는 샘플을 대상으로 중요도 샘플링을 사용한 VMC를 통해 수행된다.

실험 결과

연구 질문

• RQ1 대칭성 인식 RNN 파동함수는 기울어진 양자 스핀 체계에서 표준 변분 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 변분 냉각은 비스투케이식 해밀토니안을 위한 VMC 최적화에서 수렴성과 에너지 정확도를 향상시키는가?
• RQ3 제안된 RNN 안자스는 기울어진 격자에서 큰 2D 허브하르드 모델에서 DMRG와 비교해 어떻게 성능을 냈는가?
• RQ4 강한 기울어짐을 보이는 시스템, 예를 들어 삼각격자 허브하르드 모델에서 대칭성과 냉각의 조합이 필수적인가?

주요 결과

• 제안된 대칭성 및 냉각 통합 cRNN 파동함수는 삼각격자 허브하르드 모델에서 $14\times14$ 및 $16\times16$ 크기에서 DMRG보다 낮은 기본 상태 에너지 추정치를 달성한다.
• 삼각격자에서 이 방법은 $\geq 14\times14$ 크기에서 DMRG를 능가하며, $6\times6$에서 $16\times16$에 이르는 모든 격자 크기에서 에너지 향상이 확인된다.
• 냉각을 $T_0 = 0.25$ 및 $N_{\rm warmup} = 1000$로 적용하면 기울어진 삼각격자에서 수렴성과 에너지 추정이 크게 향상되지만, 비기울어진 정사각격자에서는 효과가 없다.
• 삼각격자에서 $C_{2d}$ 및 스핀 편포대칭성을 통합할 경우, 단지 U(1) 대칭성만 사용하는 것보다 변분 에너지가 크게 감소한다.
• 학습은 P100 GPU에서 수행되었고, $16\times16$에 이르는 모든 크기에서 안정성과 확장성이 유지되었으며, 수렴이 이루어졌다.
• 마셜 부호 규칙 적용은 RNN 및 DMRG 계산 모두에서 수렴 속도를 가속시키지만, 최종 에너지 정확도에는 영향을 주지 않는다.