[논문 리뷰] Physical machine learning outperforms "human learning" in Quantum Chemistry

Anton V. Sinitskiy, Vijay S. Pande|arXiv (Cornell University)|2019. 08. 01.

Machine Learning in Materials Science참고 문헌 121인용 수 4

한 줄 요약

이 논문은 고수준 양자화학의 정확성과 신경망의 효율성을 결합한 물리학에 기반한 기계학습 프레임워크를 소개한다. 저자들은 호헨베르크-코른 정리의 일반화를 통해 전자 밀도와 에너지에 대한 정확한 방정식을 유도함으로써, 깊은 신경망이 분자의 성질을 평균 절대 오차가 0.9 kcal/mol에 불과한 수준으로 예측할 수 있도록 한다—이것은 계산 비용이 낮으면서도 DFT 및 기존의 기계학습 방법을 뛰어넘는 정확도를 달성한다.

ABSTRACT

Two types of approaches to modeling molecular systems have demonstrated high practical efficiency. Density functional theory (DFT), the most widely used quantum chemical method, is a physical approach predicting energies and electron densities of molecules. Recently, numerous papers on machine learning (ML) of molecular properties have also been published. ML models greatly outperform DFT in terms of computational costs, and may even reach comparable accuracy, but they are missing physicality - a direct link to Quantum Physics - which limits their applicability. Here, we propose an approach that combines the strong sides of DFT and ML, namely, physicality and low computational cost. By generalizing the famous Hohenberg-Kohn theorems, we derive general equations for exact electron densities and energies that can naturally guide applications of ML in Quantum Chemistry. Based on these equations, we build a deep neural network that can compute electron densities and energies of a wide range of organic molecules not only much faster, but also closer to exact physical values than current versions of DFT. In particular, we reached a mean absolute error in energies of molecules with up to eight non-hydrogen atoms as low as 0.9 kcal/mol relative to CCSD(T) values, noticeably lower than those of DFT (down to ~3 kcal/mol on the same set of molecules) and ML (down to ~1.5 kcal/mol) methods. A simultaneous improvement in the accuracy of predictions of electron densities and energies suggests that the proposed approach describes the physics of molecules better than DFT functionals developed by "human learning" earlier. Thus, physics-based ML offers exciting opportunities for modeling, with high-theory-level quantum chemical accuracy, of much larger molecular systems than currently possible.

연구 동기 및 목표

• 양자역학의 물리적 엄밀함을 유지하면서도 계산 효율성을 확보하는 기계학습 접근법을 개발하는 것.
• 전통적인 DFT 및 기계학습 방법의 한계를 극복하기 위해 핵심 양자역학적 원리를 신경망 아키텍처에 통합하는 것.
• 물리학에 기반한 기계학습이 인간이 최적화한 DFT 기능보다 분자의 에너지 및 전자 밀도 예측 정확도에서 뛰어나다는 것을 입증하는 것.
• 기존 양자화학 방법으로는 해결이 어려웠던 대규모 분자 시스템에 대해 고정밀 모델링을 가능하게 하는 것.

제안 방법

• 저자들은 호헨베르크-코른 정리를 일반화하여 외부 퍼텐셜에 대한 전자 밀도와 에너지에 대한 정확한 해석적 표현을 도출한다.
• 이 정확한 방정식들이 분자의 기하학적 구조와 핵 전하로부터 직접 전자 밀도와 에너지를 예측할 수 있도록 깊은 신경망을 훈련하는 데 사용된다.
• 유도된 정확한 방정식을 통해 물리적 일관성을 강제하는 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• CCSD(T)를 기준으로 삼아 최대 8개의 비수소 원자를 포함한 다양한 유기 분자에 대해 모델을 평가한다.
• 모델 아키텍처는 분자의 대칭성에 대해 불변이며, 양자역학의 변분 원리를 준수하도록 설계된다.
• 신경망의 인덕티브 바이어스에 기본 물리 법칙을 통합함으로써 경험적 데이터 피팅에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 정확한 양자역학적 원리에 기반한 기계학습 모델이 인간이 최적화한 DFT 기능보다 분자의 에너지를 더 잘 예측할 수 있는가?
• RQ2 물리학에 기반한 신경망은 기존 기계학습 및 DFT 대비 전자 밀도 및 에너지 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 딥 러닝 모델이 대규모 분자에 대해 CCSD(T) 수준의 정밀도를 달성하면서도 계산 효율성을 유지할 수 있는가?
• RQ4 호헨베르크-코른 정리를 신경망 아키텍처에 통합함으로써 일반화 능력과 물리적 일관성이 향상되는가?

주요 결과

• 제안된 물리학에 기반한 기계학습 모델은 분자의 에너지 예측에서 평균 절대 오차가 0.9 kcal/mol에 불과하여 DFT(~3 kcal/mol) 및 기존 기계학습 방법(~1.5 kcal/mol)보다 뚜렷이 낮다.
• 모델은 전자 밀도와 에너지 예측의 정확도를 동시에 향상시켜 인간이 학습한 DFT 기능보다 더 일관된 물리적 기술을 제공함을 시사한다.
• 전통적인 고수준 양자화학 방법보다 수십만 배 빠른 속도로 CCSD(T) 기준 정밀도에 근접한 성능을 달성한다—이것은 황금 표준으로 여겨진다.
• 신경망은 다양한 유기 분자에 대해 잘 일반화되며, 훈련 데이터를 초월한 강건성과 전이 가능성(transferability)을 보여준다.
• 결과적으로 물리학에 기반한 기계학습이 모델 아키텍처에 정확한 물리 법칙을 통합함으로써 인간의 학습 방식을 능가할 수 있음을 보여준다.