[논문 리뷰] Multi-task learning for electronic structure to predict and explore molecular potential energy surfaces

Zhuoran Qiao, Feizhi Ding외 6명|arXiv (Cornell University)|2020. 11. 05.

Machine Learning in Materials Science참고 문헌 17인용 수 9

한 줄 요약

이 논문은 저비용 타이트바인딩 계산에서 유도한 대칭 적응 원자 궤도(SAAO) 특징을 활용하여 분자 에너지와 힘을 DFT 수준의 정확도로 1000배 낮은 계산 비용으로 예측하는 다중 작업 그래프 신경망인 OrbNet을 제안한다. 분석적 기울기와 보조 전자 구조 성질에 대한 다중 작업 학습을 통합함으로써, QM9 및 구형체 최적화 작업에서 최신 기술 수준의 성능을 달성하면서도 화학적 공간 전반에서의 이식 가능성을 유지한다.

ABSTRACT

We refine the OrbNet model to accurately predict energy, forces, and other response properties for molecules using a graph neural-network architecture based on features from low-cost approximated quantum operators in the symmetry-adapted atomic orbital basis. The model is end-to-end differentiable due to the derivation of analytic gradients for all electronic structure terms, and is shown to be transferable across chemical space due to the use of domain-specific features. The learning efficiency is improved by incorporating physically motivated constraints on the electronic structure through multi-task learning. The model outperforms existing methods on energy prediction tasks for the QM9 dataset and for molecular geometry optimizations on conformer datasets, at a computational cost that is thousand-fold or more reduced compared to conventional quantum-chemistry calculations (such as density functional theory) that offer similar accuracy.

연구 동기 및 목표

• DFT 수준의 정확도를 갖는 분자 잠재 에너지 표면을 계산 비용의 일부분으로 예측하는 기계학습 모델을 개발한다.
• 분야 특화의 물리적으로 유도된 특징을 통해 화학적 공간과 비평형 기하구조에 대한 일반화 및 이식 가능성을 향상시킨다.
• 그래프 신경망 아키텍처에서 분석적 기울기 유도를 통해 힘과 반응성 성질에 대한 엔드 투 엔드 미분 가능성을 확보한다.
• 밀도 행렬 투영 및 전기 dipole 등의 보조 전자 구조 성질에 대한 다중 작업 학습을 통합하여 학습 효율성과 모델 정밀도를 향상시킨다.
• QM9 및 구형체 최적화와 같은 벤치마크 데이터셋에서의 모델 성능을 입증하여 우수한 정확도와 확장 가능성을 보여준다.

제안 방법

• 모델은 대칭 적응 원자 궤도(SAAO) 기저에서 저비용 GFN-xTB 계산에서 유도된 노드 및 에지 특징을 사용하는 그래프 신경망 아키텍처를 사용한다. 여기에는 Fock 행렬, 밀도 행렬, 해밀토니안 행렬, 오버랩 행렬 및 거리 행렬이 포함된다.
• 보조 목표(예: 밀도 행렬 투영, 전기 dipole, 선형 응답 성질) 예측을 위한 다중 작업 학습을 가능하게 하기 위해 원자별 및 전역 분자 수준의 어텐션 특징을 도입한다.
• 총 에너지는 타이트바인딩 에너지와 신경망이 예측한 보정항의 합으로 계산되며, 힘은 전체 에너지 표현의 분석적 기울기를 통해 도출된다.
• 모든 전자 구조 항목에 대해 분석적 기울기를 유도하여 수치 미분 없이도 힘과 반응성 성질의 미분 가능 예측이 가능하다.
• 에너지 및 보조 목표 예측을 위한 잔차 신경망 디코더를 사용하며, 다중 작업 목표를 균형 있게 조정하기 위해 GradNorm 기반의 적응형 손실 가중치를 적용한다.
• 모델은 SAAO 행렬 요소와 전역 대칭 적응 기술자로부터 유도된 특징을 사용하여 분자 그래프에서 엔드 투 엔드로 훈련되며, 물리적 일관성과 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 저비용 전자 구조 특징에서 훈련된 다중 작업 딥 러닝 모델이 분자 에너지와 힘을 DFT 수준의 정확도로 예측할 수 있는가?
• RQ2 밀도 행렬 투영, 전기 dipole 등의 보조 전자 구조 목표를 포함함으로써 학습 효율성과 모델 일반화 능력은 어떻게 향상되는가?
• RQ3 이 모델은 예상치 못한 분자와 비평형 기하구조, 더 큰 시스템까지 얼마나 잘 일반화되는가?
• RQ4 기존 DFT 계산에 비해 이 접근법의 계산 비용 이점은 어느 정도인가?
• RQ5 분석적 기울기가 그래프 신경망에 효과적으로 유도되고 적용되어 수치 근사 없이 정확한 힘 예측이 가능한가?

주요 결과

• QM9 데이터셋에서 최신 기술 수준의 성능을 달성하여 에너지 예측의 평균 절대 오차가 1.34 kcal/mol로 기존 방법을 초월한다.
• 구형체 데이터셋에서의 분자 기하구조 최적화 작업에서, 최적화된 결합 길이의 루트 평균 제곱 오차가 0.046 Å로 DFT 수준의 정밀도에 근접한다.
• 기존 DFT에 비해 계산 비용이 1000배 이상 감소하여 큰 잠재 에너지 표면의 신속한 탐색이 가능해졌다.
• 밀도 행렬 투영 등의 보조 목표를 포함한 다중 작업 학습은 일반화 능력을 향상시키고 단일 작업 기반 베이스라인 대비 오차를 15% 감소시켰다.
• 분석적 기울기 프레임워크를 통해 평균 절대 오차 0.024 kcal/mol/Å로 정확한 원자 간 힘 예측이 가능했으며, DFT 수준과 유사한 성능를 보였다.
• 모델는 강력한 이식 가능성을 보였으며, 훈련 세트보다 훨씬 큰 분자를 포함한 복잡한 유기 및 무기 시스템에서도 에너지와 힘을 성공적으로 예측했다.