[논문 리뷰] DeepErwin

Michael Scherbela, Leon Gerard외 1명|arXiv (Cornell University)|2023. 03. 17.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 허틀리-폭 오비탈을 고정밀 신경망 오비탈로 매핑하는 그래프 신경망을 통해 분자 간 전이 학습을 가능하게 하는 기초 파동함수 모델인 DeepErwin을 소개한다. 다양한 화합물에서의 사전 훈련을 통해 최소한의 피팅만으로도 표준 훈련보다 20배 빠르게 CCSD(T)-유사 정확도를 달성할 수 있다.

ABSTRACT

Deep neural networks have become a highly accurate and powerful wavefunction ansatz in combination with variational Monte Carlo methods for solving the electronic Schrödinger equation. However, despite their success and favorable scaling, these methods are still computationally too costly for wide adoption. A significant obstacle is the requirement to optimize the wavefunction from scratch for each new system, thus requiring long optimization. In this work, we propose a novel neural network ansatz, which effectively maps uncorrelated, computationally cheap Hartree-Fock orbitals, to correlated, high-accuracy neural network orbitals. This ansatz is inherently capable of learning a single wavefunction across multiple compounds and geometries, as we demonstrate by successfully transferring a wavefunction model pre-trained on smaller fragments to larger compounds. Furthermore, we provide ample experimental evidence to support the idea that extensive pre-training of a such a generalized wavefunction model across different compounds and geometries could lead to a foundation wavefunction model. Such a model could yield high-accuracy ab-initio energies using only minimal computational effort for fine-tuning and evaluation of observables.

연구 동기 및 목표

• 각 새로운 분자 체계에 대해 깊이 있는 신경망 파동함수를 새로 훈련하는 데 드는 높은 계산 비용을 극복하기 위해.
• 파rameter 효율적이고 크기 불변인 아키텍처를 통해 다양한 분자와 기하학적 구조 간 파동함수 모델의 일반화를 가능하게 하기 위해.
• 다양한 화합물에서 사전 훈련된 기초 파동함수 모델을 구축하여 전체 재최적화가 필요로 하는 것을 줄이기 위해.
• 광범위한 사전 훈련이 정확도와 전이 가능성에 체계적인 향상을 이끌어내는지 입증하기 위해.
• 전체 재최적화 없이도 기존의 고정밀도 방법(예: CCSD(T)-ccpVTZ)을 뛰어넘는 성능을 달성하면서도 계산 비용을 크게 줄이는 것.

제안 방법

• 그래프 신경망(GNN)이 핵의 좌표와 초기 오비탈 서술자를 처리하여 체계 크기와 무관하게 학습된 상관 오비탈을 생성한다.
• 메시지 전달 아키텍처를 사용하며 대칭 및 반대칭 구성 요소를 포함하여 정확한 페르미온 통계를 보장한다.
• 전자 임bedding과 오비탈 서술자를 조합하는 학습 가능한 함수를 통해 스핀 및 공간 대칭을 보장하는 오비탈을 구성한다.
• 학습된 오비탈들의 슬래터 행렬식으로 파동함수를 구성하며, 반대칭 활성화 함수를 통해 대칭성을 강제한다.
• 소규모 분자 조각에서의 사전 훈련을 통해 큰, 화학적으로 유사한 화합물로의 전이가 가능하게 하기 위해 피팅을 수행한다.
• 각 배치에서 GNN 및 오비탈 네트워크 평가를 비용이 많이 드는 작업과 분리하여 계산 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 다양한 분자와 기하학적 구조에서 단일 신경망 파동함수 모델을 사전 훈련하여 새로운 체계에서 빠르고 정확한 예측이 가능한가?
• RQ2 소규모 분자 조각에서의 사전 훈련이 더 큰, 화학적으로 유사한 화합물에서의 정확도와 일반화 능력을 향상시키는가?
• RQ3 최소한의 피팅만으로도 CCSD(T)-레벨 정확도를 달성할 수 있으며, 계산 비용을 수십 배 이상 줄일 수 있는가?
• RQ4 모델 크기, 데이터 크기, 사전 훈련 스텝 수가 파동함수 모델의 최종 정확도와 전이 가능성에 어떤 영향을 미치는가?
• RQ5 GLOBE와 같은 동시 진행 중인 접근법과 비교해 볼 때 에너지 정확도와 다양한 화합물에 대한 일반화 능력에서 본 모델은 어떤가?

주요 결과

• 소규모 분자 조각에서의 사전 훈련을 통해 큰, 화학적으로 유사한 화합물로의 성공적인 전이가 가능하며, 상대 에너지 예측에서 높은 정확도를 달성한다.
• 사전 훈련된 DeepErwin 모델의 피팅을 통해 새로운 모델을 처음부터 훈련하는 것보다 약 20배 빠르게 CCSD(T)-ccpVTZ 수준의 정확도를 달성한다.
• 모델 크기, 데이터 크기, 사전 훈련 스텝 수를 체계적으로 늘림으로써 파동함수 정확도에 일관되고 상당한 향상이 이루어진다.
• 특히 분포 외 분자에서 GLOBE와 비교해 더 낮은 절대 에너지와 더 높은 상대 에너지 계산 정확도를 달성한다.
• 아키텍처의 크기 불변성 덕분에 다양한 크기의 분자 간 가중치 공유가 가능하여 이전의 파동함수 아키텍처의 핵심적 한계를 극복한다.
• 모델은 분포 내 및 분포 외 분자 모두에서 높은 정확도를 유지하며 강력한 일반화 능력을 보여준다.