[논문 리뷰] Simulations of state-of-the-art fermionic neural network wave functions with diffusion Monte Carlo

Max Wilson, Nicholas Gao외 3명|arXiv (Cornell University)|2021. 03. 23.

Quantum many-body systems참고 문헌 25인용 수 8

한 줄 요약

이 논문은 페르미온 시스템의 기본 상태 에너지 계산에서 최고 수준의 정확도를 달성하기 위해 확산 몽테 카를로(DMC)로 향상된 최적화된 페르미온 신경망 파동함수인 Fermi Net*을 소개한다. 네트워크 아키텍처를 수정하여 중복 계산을 제거하고 KFAC 최적화 방법을 개선함으로써, 베릴륨에서 neon 원자 및 탄소 양이온(C⁺)에 대해 이전 방법들, 특히 전통적인 안사수를 사용한 표준 DMC를 능가하는 뛰어난 성능을 달성한다.

ABSTRACT

Recently developed neural network-based \emph{ab-initio} solutions (Pfau et. al arxiv:1909.02487v2) for finding ground states of fermionic systems can generate state-of-the-art results on a broad class of systems. In this work, we improve the results for this Ansatz with Diffusion Monte Carlo. Additionally, we introduce several modifications to the network (Fermi Net) and optimization method (Kronecker Factored Approximate Curvature) that reduce the number of required resources while maintaining or improving the modelling performance. In terms of the model, we remove redundant computations and alter the way data is handled in the permutation equivariant function. The Diffusion Monte Carlo results exceed or match state-of-the-art performance for all systems investigated: atomic systems Be-Ne, and the carbon cation C$^+$.

연구 동기 및 목표

• 페르미온 시스템에 대한 신경망 기반 파동함수의 정확도를 확산 몽테 카를로(DMC)를 통해 향상시키는 것.
• 순열 등변성 레이어에서의 데이터 흐름을 개선하고 중복 요소를 제거하여 Fermi Net 아키텍처를 최적화하는 것.
• VMC 및 DMC와 함께 더 효과적으로 Kronecker-Factored Approximate Curvature(KFAC) 최적화기를 적용하는 것.
• 적절히 최적화된 경우, 신경망 기반 안사수가 전통적 파동함수를 능가할 수 있음을 보여주는 것.

제안 방법

• 쌍방향 상호작용 항의 대각선 요소를 제거하고 순열 등변 함수 내 데이터 흐름을 재구성하여 계산의 중복을 줄이도록 Fermi Net 아키텍처를 수정하였다.
• 기울기 클리핑, 인자화된 티호노프 정규화, 적응형 학습률을 포함한 개선된 KFAC 최적화기를 사용하여 변분 몽테 카를로(VMC)를 적용하였다.
• 신경망 파동함수를 시도 함수로 사용하는 새로운 DMC 알고리즘을 구현하였으며, 고정 노드 근사와 그린 함수 기반 전파를 통합하였다.
• 하이브리드 워크플로우를 사용: 먼저 KFAC를 사용한 VMC로 파동함수를 최적화한 후, 변분 편향을 줄이기 위해 DMC로 추가로 정밀 조정하였다.
• 통계적 효율성을 유지하기 위해 워커 가중치를 통한 중요도 샘플링과 재가중치를 적용한 배치 처리 및 병렬화된 DMC 기반 방식을 도입하였다.
• 시도 에너지와 局부 에너지 차이를 고려하는 수정된 에너지 추정기 도입으로 수렴성과 안정성을 향상시켰다.

실험 결과

연구 질문

• RQ1 신경망 기반 페르미온 파동함수를 DMC와 조합할 경우, 기존 안사수보다 페르미온 시스템에서 더 낮은 에너지 추정치를 달성할 수 있는가?
• RQ2 예를 들어 중복 항을 제거하는 것과 같은 Fermi Net의 아키텍처 수정이 계산 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 VMC에서 KFAC로 파동함수를 최적화할 경우, DMC 입력 상태의 품질이 얼마나 향상되는가?
• RQ4 현대적인 신경망 안사수를 사용한 DMC가 Be-Ne 및 C⁺와 같은 원자 시스템에서 이전의 최고 수준의 방법들을 능가하는 정확도를 달성할 수 있는가?
• RQ5 고정 노드 DMC 방법이 높은 표현력을 지닌 신경망 파동함수에 효과적으로 적용될 수 있는가, 이로 인해 심각한 편향이 발생하는가?

주요 결과

• DMC로 향상된 Fermi Net* 모델은 베릴륨에서 neon 원자 및 탄소 양이온(C⁺)을 포함한 모든 테스트 시스템에서 최고 수준의 에너지 추정치를 달성하였다.
• 수정된 Fermi Net 아키텍처는 쌍방향 상호작용 항의 중복된 대각선 항을 제거하고 순열 등변성 레이어 내 데이터 흐름을 단순화함으로써 계산 오버헤드를 감소시켰다.
• 개선된 KFAC 최적화기를 사용한 VMC와 그 후의 DMC 적용 조합은 기본 Fermi Net 대비 변분 에너지 편향을 크게 감소시켰다.
• 신경망 안사수를 사용한 DMC 결과는 이전 최고 수준의 방법들을 초월하거나 그 수준을 유지하며, 고정밀도 양자 몽테 카를로 시뮬레이션에서 신경망 파동함수의 효과성을 입증하였다.
• 최적화된 신경망 파동함수에 고정 노드 근사를 적용하더라도 성능 저하가 발생하지 않아, 시도 함수의 강건성과 낮은 편향을 나타내었다.
• KFAC 최적화기에서 적응형 학습률과 기울기 클리핑을 사용함으로써 학습 안정성과 수렴 속도가 향상되었으며, 이는 더 나은 최종 파동함수 품질에 기여하였다.