[논문 리뷰] Semiempirical Hamiltonians learned from data can have accuracy comparable to Density Functional Theory

Frank Hu, Hanqing He외 1명|arXiv (Cornell University)|2022. 10. 21.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 상호작용 거리의 일변도 함수로 구성된 밀도함수이론-타이트결합(DFTB) 기반의 기계학습 강화된 준경험적 양자화학 모델인 DFTBML을 소개한다. 이러한 함수들은 데이터 기반 최적화를 통해 학습되며, 물리적으로 해석 가능한 형태를 유지한다. 이 모델은 계산 비용의 일부에 불과한 비용으로 CCSD(T)*/CBS 수준의 정확도(약 3 kcal/mol 이내)를 달성하며, 전통적인 준경험적 방법을 능가하고, 훨씬 적은 데이터 요구량으로 DFT 수준의 성능을 내는 데 성공한다.

ABSTRACT

Quantum chemistry provides chemists with invaluable information, but the high computational cost limits the size and type of systems that can be studied. Machine learning (ML) has emerged as a means to dramatically lower cost while maintaining high accuracy. However, ML models often sacrifice interpretability by using components, such as the artificial neural networks of deep learning, that function as black boxes. These components impart the flexibility needed to learn from large volumes of data but make it difficult to gain insight into the physical or chemical basis for the predictions. Here, we demonstrate that semiempirical quantum chemical (SEQC) models can learn from large volumes of data without sacrificing interpretability. The SEQC model is that of Density Functional based Tight Binding (DFTB) with fixed atomic orbital energies and interactions that are one-dimensional functions of interatomic distance. This model is trained to ab initio data in a manner that is analogous to that used to train deep learning models. Using benchmarks that reflect the accuracy of the training data, we show that the resulting model maintains a physically reasonable functional form while achieving an accuracy, relative to coupled cluster energies with a complete basis set extrapolation (CCSD(T)*/CBS), that is comparable to that of density functional theory (DFT). This suggests that trained SEQC models can achieve low computational cost and high accuracy without sacrificing interpretability. Use of a physically-motivated model form also substantially reduces the amount of ab initio data needed to train the model compared to that required for deep learning models.

연구 동기 및 목표

• DFT 수준의 정확도를 달성하면서도 물리적 해석 가능성을 유지하는 준경험적 양자화학 모델을 개발한다.
• 모델 아키텍처에 물리적 제약 조건을 통합함으로써 딥러닝 모델에서 흔히 볼 수 있는 높은 데이터 요구량을 줄인다.
• 물리적으로 유도된 해밀토니안(DFTB)의 학습 가능한 매개변수를 통해 해석 가능성의 손실 없이 화학적 정확도를 달성할 수 있음을 보여준다.
• 소규모 데이터셋(~23,000개의 구조)으로도 성능 포화에 도달할 수 있음을 보여주며, 이는 모델 형식에 의해 제한되며 데이터 크기로 인한 제약이 아님을 시사한다.

제안 방법

• 모델는 고정된 원자 궤도 에너지와 상호작용 및 오버랩에 대한 일변도 거리 함수를 갖는 DFTB 해밀토니안을 사용하며, 100개의 노드를 가진 고차수(5차) 스퍼린으로 매개변수화된다.
• 스퍼링 함수의 비물리적 진동을 방지하기 위해 강력한 정규화 기법을 적용한다.
• C, H, N, O 원소로 구성된 분자(최대 8개의 무거운 원자 포함)에 대한 아비니시오 에너지 데이터셋인 ANI-1CCX를 사용하여 모델을 훈련시키며, 총 에너지, 분극모멘트, 전하 예측을 포함한 가중치가 부여된 손실 함수를 사용한다.
• 루프 역전을 통한 역전파: SCF 및 훈련 루프를 재구성하여 전하 변동과 모델 업데이트를 기울기 하강 경로 외부에서 계산함으로써 효율적인 미분 가능한 SCF를 구현한다.
• 반복 10회마다 볼록 최적화를 통해 반발 잠재에너지 함수를 업데이트하여 전역 수렴을 보장한다.
• CCSD(T)*/CBS와의 공정한 비교를 위해 원자화 에너지에 선형 기준 에너지 보정을 적용하며, 계수는 최소제곱법 피팅을 통해 유도된다.

실험 결과

연구 질문

• RQ1 아비니시오 데이터로 훈련된 물리적으로 유도된 형식의 준경험적 양자화학 모델이 DFT 수준의 정확도를 달성할 수 있는가?
• RQ2 DFTB 프레임워크 내에서 학습 가능한 스퍼링 함수를 사용할 경우, 딥러닝 모델에 비해 데이터 요구량을 줄일 수 있는가 동시에 높은 정확도를 유지할 수 있는가?
• RQ3 물리적 해밀토니안의 구조를 유지함으로써 예측 성능에 손상 없이 해석 가능성은 어느 정도 향상되는가?
• RQ4 모델의 성능은 모델 형식에 의해 제한되는가, 아니면 훈련 데이터의 양에 의해 제한되는가?

주요 결과

• DFTBML 모델은 CCSD(T)*/CBS 기준 데이터와 비교해 약 3 kcal/mol의 평균 절대 오차(MAE)를 기록하며, 표준 DFT 함수들과 동일한 정확도를 확보한다.
• 성능 포화가 약 20,000개의 분자 구조에서 발생함을 확인하여, 모델의 정확도가 데이터 양이 아닌 기능 형식에 의해 제한됨을 시사한다.
• 최적 성능에 도달하기 위해 약 232,000개의 구조(딥러닝 모델의 약 100만 개 대비)만 필요하며, 데이터 요구량을 크게 줄였다.
• 총 에너지 예측의 이방성 비율이 0.05% 이하로 낮아, 일반화 성능의 뛰어난 안정성과 강인성을 입증한다.
• 반발 잠재에너지에 대해 볼록 최적화를 적용함으로써 전역 수렴과 안정적인 훈련을 보장한다.
• 고차수 스퍼링과 정규화를 통해 물리적으로 타당한 기능 형식을 유지하면서도, 상호작용에 대한 높은 민감도를 확보한다.