[논문 리뷰] Empowering deep neural quantum states through efficient optimization

Ao Chen, Markus Heyl|arXiv (Cornell University)|2023. 02. 03.

Quantum many-body systems참고 문헌 56인용 수 13

한 줄 요약

본 논문은 최소 단계 확률적 재구성(MinSR)을 도입하여 깊은 신경 양자상태(NQS)를 기존보다 수십 배 적은 비용으로 학습하고, 2D Heisenberg J1-J2 모델의 기계 정밀도에 가까운 기저상 에너지를 가능하게 한다.

ABSTRACT

Computing the ground state of interacting quantum matter is a long-standing challenge, especially for complex two-dimensional systems. Recent developments have highlighted the potential of neural quantum states to solve the quantum many-body problem by encoding the many-body wavefunction into artificial neural networks. However, this method has faced the critical limitation that existing optimization algorithms are not suitable for training modern large-scale deep network architectures. Here, we introduce a minimum-step stochastic-reconfiguration optimization algorithm, which allows us to train deep neural quantum states with up to $10^6$ parameters. We demonstrate our method for paradigmatic frustrated spin-1/2 models on square and triangular lattices, for which our trained deep networks approach machine precision and yield improved variational energies compared to existing results. Equipped with our optimization algorithm, we find numerical evidence for gapless quantum-spin-liquid phases in the considered models, an open question to date. We present a method that captures the emergent complexity in quantum many-body problems through the expressive power of large-scale artificial neural networks.

연구 동기 및 목표

• 대규모 심층 네트워크에서 신경 양자상태의 최적화 병목을 동기 부여하고 해결한다.
• 네트워크 규모에 비례한 SR의 복잡도를 거의 선형으로 감소시키는 MinSR 알고리즘을 도입한다.
• 2D 스핀 모델에서 최대 64층, 10^5개 이상의 매개변수를 갖는 매우 깊은 NQS의 학습을 입증한다.
• 기존 SR/SGD 방법과의 성능을 평가하고 J1-J2 모델에 대한 알려진 결과와 벤치마크한다.

제안 방법

• SR 업데이트를 변분 매니폴드로 가상 시간 진화를 투사하는 선형 방정식의 해로 형식화한다.
• 신경 접선 커널 T = O O^†를 도입하여 양자 도량법 S와 고유값이 0이 아닌 부분을 공유하지만 크기가 N_s × N_s인 커널이다.
• MinSR 해 δθ = O^† T^{-1} ε를 도출하며 T = O O^†일 때 복잡도를 O(N_p N_s^2 + N_s^3)로 감소시킨다.
• 저노름(최소 스텝) 기준을 사용하여 과소 결정된 해들 중에서 고유한 δθ를 선택하고 안정성을 향상시킨다.
• 정규화 및 몬테카를로 샘플링을 적용하여 변분 몬테카를로로부터 O와 ε를 계산한다.
• 정밀도와 확장성을 보여주기 위해 스핀-1/2 Heisenberg J1-J2 모델에서 벤치마크한다.

실험 결과

연구 질문

• RQ1 MinSR이 SR와 견줄 만한 변분 에너지를 달성하면서 계산 비용을 대폭 줄일 수 있는가?
• RQ2 대규모 NQS 아키텍처에서 네트워크 깊이와 매개변수 수에 따라 MinSR은 어떻게 확장되는가?
• RQ3 현대 하드웨어에서 기계 정밀도에 근접할 때 MinSR로 학습된 심층 NQS의 정확도 한계는 무엇인가?
• RQ4 J1-J2 모델과 같은 좌절된 이차원 양자 자석에 대해 MinSR로 학습된 심층 NQS가 기존 방법을 능가할 수 있는가?

주요 결과

• MinSR은 N_p 매개변수를 가진 심층 네트워크의 최적화 비용을 선도적인 O(N_p)으로 감소시키며, 기존 SR의 O(N_p^3)과 비교된다.
• MinSR은 2D Heisenberg J1-J2 모델에서 64층까지의 신경망 및 10^5개 이상의 매개변수 훈련을 가능하게 한다.
• MinSR로 학습된 심층 NQS는 J1-J2 모델의 16×16 격자에서 기존의 수치적 접근을 능가하는 변분 에너지를 달성한다.
• 기계 정밀도의 서로 다른 수준에 근접하며, 주로 장치 수치 정밀도에 의해 제한된다.
• 비좌절적 히젠베르 자 모델에서 MinSR은 이전 NQS 결과를 크게 능가하는 변분 에너지를 제공하고, 많은 경우 부호 구조 오차가 거의 없다.
• 16×16 격자에서 J2/J1 = 0.5인 좌절된 J1-J2 모델의 경우, MinSR은 NQS 방법 중 보고된 변분 에너지 중 최고치를 달성한다.