[논문 리뷰] Neural Quantum States of frustrated magnets: generalization and sign structure

Tom Westerhout, Nikita Astrakhantsev외 3명|arXiv (Cornell University)|2019. 07. 18.

Quantum many-body systemsPhysics and Astronomy참고 문헌 50인용 수 17

한 줄 요약

이 논문은 과도한 양자 스핀 망원에서 신경망 양자 상태(NQS)를 사용할 때의 일반화 및 부호 구조 문제를 조사한다. 제한된 정확한 대각화 데이터를 기반으로 신경망을 훈련시킨 결과, 과도함이 증가함에 따라 일반화 성능이 급격히 떨어지고, 부호 구조를 학습하는 것이 진폭을 학습하는 것보다 훨씬 어렵다는 점을 발견하였다. 이는 현실적인 모델에서 NQS의 핵심 장벽이 표현력이 아니라 일반화 능력임을 시사한다.

ABSTRACT

Neural quantum states (NQS) attract a lot of attention due to their potential to serve as a very expressive variational ansatz for quantum many-body systems. Here we study the main factors governing the applicability of NQS to frustrated magnets by training neural networks to approximate ground states of several moderately-sized Hamiltonians using the corresponding wavefunction structure on a small subset of the Hilbert space basis as training dataset. We notice that generalization quality, i.e. the ability to learn from a limited number of samples and correctly approximate the target state on the rest of the space, drops abruptly when frustration is increased. We also show that learning the sign structure is considerably more difficult than learning amplitudes. Finally, we conclude that the main issue to be addressed at this stage, in order to use the method of NQS for simulating realistic models, is that of generalization rather than expressibility.

연구 동기 및 목표

• 증가하는 스핀 과도함을 가진 과도한 양자 스핀 망원에 대해 신경망 양자 상태(NQS)의 적용 가능성을 평가하기 위해.
• 신경망이 하이르베르트 공간 기저에서 샘플링된 제한된 훈련 데이터로부터 잘 일반화할 수 있는지 조사하기 위해.
• NQS에서 파동함수 진폭과 부호 구조를 학습하는 데의 어려움을 비교하기 위해.
• 실제 다체 양자 시스템에서 NQS를 사용할 때 일반화인지 표현력인지가 주요 장벽인지 판단하기 위해.

제안 방법

• 정확한 대각화 데이터를 레이블로 사용하여, 파동함수의 부호 구조를 예측하는 데 전용된 신경망과 진폭을 예측하는 데 전용된 또 다른 신경망을 훈련시키기 위해.
• Hilbert 공간 기저에서 $ P(i) = |\psi_i|^2 / \sum_j |\psi_j|^2 $ 확률 분포에 따라 훈련 및 검증 데이터셋을 샘플링하여 고진폭 구성이 우선시되도록 하기 위해.
• 부호 분류기에는 이진 교차 엔트로피 손실을, 진폭 네트워크에는 로그 진폭에 대한 평균 제곱오차를 사용하기 위해.
• 학습률가 $ 10^{-4} $에서 $ 10^{-3} $ 사이로 설정한 Adam 최적화를 사용하고, 조기 정지, 드롭아웃, $ L_2 $-정규화를 통해 정규화를 수행하기 위해.
• 정확한 기본 상태와 NQS 시도 상태 간의 오버랩을 통해 모델 성능을 평가하기 위해.
• GitHub에 공개된 코드를 사용하여 결과를 재현하고, 최적의 성능을 위해 초모수를 조정하기 위해.

실험 결과

연구 질문

• RQ1 과도한 양자 스핀 망원에서 과도함이 증가할수록 신경망의 일반화 능력이 기본 상태 근사에 어떻게 影향을 미치는가?
• RQ2 NQS에서 파동함수의 부호 구조를 학습하는 데의 어려움이 진폭 구조 학습보다 어느 정도 더 어려운가?
• RQ3 과도한 시스템에서 NQS의 성능이 표현력보다는 제한된 데이터로부터의 일반화에 더 의존하는가?
• RQ4 Hilbert 공간 기저의 소량의 부분집합에서 훈련된 신경망이 과도한 자성체에서 전체 파동함수 구조를 정확히 예측할 수 있는가?

주요 결과

• NQS의 일반화 성능은 과도함이 증가함에 따라 급격히 떨어지며, 이는 제한된 데이터로는 더 이상 충분하지 않은 급격한 임계점이 있음을 시사한다.
• 부호 구조를 학습하는 데의 어려움은 진폭을 학습하는 것보다 뚜렷하게 높은 오차율과 느린 수렴 속도로 나타나, 부호 학습이 훨씬 더 어렵다는 것을 입증한다.
• 정확한 기본 상태와 NQS 시도 상태 간의 오버랩은 진폭과 부호 구조가 모두 정확히 학습되었을 때에만 높게 유지되며, 부호 오류는 비례하지 않게 큰 영향을 미친다.
• 이 연구는 현실적인 과도한 양자 모델에 NQS를 적용할 때 일반화가 표현력보다 핵심 과제임을 규명한다.
• 초모수 조정, 특히 배치 크기 조정은 필요한 훈련 비율 $ \varepsilon_{\text{train}} $ 에 비단조화적인 영향을 미치며, 비최적의 선택은 필요한 데이터를 최대 한 계단 정도 증가시킬 수 있다.