[논문 리뷰] Fast machine learning models of electronic and energetic properties consistently reach approximation errors better than DFT accuracy

Felix A. Faber, Luke D. Hutchinson외 8명|arXiv (Cornell University)|2017. 02. 17.

Machine Learning in Materials Science인용 수 11

한 줄 요약

이 연구는 유기 분자의 13개의 전자적 및 에너지적 성질을 예측하기 위해 다양한 분자 표현 방식과 회귀 모델을 사용하여 빠른 기계학습 모델을 개발한다. 이 모델들이 실험 기반으로 측정된 값과 비교할 때 화학적 정확도 이하의 예측 오차를 기록하며, 하이브리드 DFT보다 일관되게 실험 값에서 벗어나지 않는 것으로 나타나, 실험 데이터나 매우 정밀한 양자역학적 데이터를 기반으로 훈련시킬 경우 더 높은 정확도에 도달할 잠재력이 있음을 시사한다.

ABSTRACT

We investigate the impact of choosing regressors and molecular representations for the construction of fast machine learning (ML) models of thirteen electronic ground-state properties of organic molecules. The performance of each regressor/representation/property combination is assessed using learning curves which report out-of-sample errors as a function of training set size with up to $\sim$117k distinct molecules. Molecular structures and properties at hybrid density functional theory (DFT) level of theory used for training and testing come from the QM9 database [Ramakrishnan et al, {\em Scientific Data} {\bf 1} 140022 (2014)] and include dipole moment, polarizability, HOMO/LUMO energies and gap, electronic spatial extent, zero point vibrational energy, enthalpies and free energies of atomization, heat capacity and the highest fundamental vibrational frequency. Various representations from the literature have been studied (Coulomb matrix, bag of bonds, BAML and ECFP4, molecular graphs (MG)), as well as newly developed distribution based variants including histograms of distances (HD), and angles (HDA/MARAD), and dihedrals (HDAD). Regressors include linear models (Bayesian ridge regression (BR) and linear regression with elastic net regularization (EN)), random forest (RF), kernel ridge regression (KRR) and two types of neural net works, graph convolutions (GC) and gated graph networks (GG). We present numerical evidence that ML model predictions deviate from DFT less than DFT deviates from experiment for all properties. Furthermore, our out-of-sample prediction errors with respect to hybrid DFT reference are on par with, or close to, chemical accuracy. Our findings suggest that ML models could be more accurate than hybrid DFT if explicitly electron correlated quantum (or experimental) data was available.

연구 동기 및 목표

• 기계학습 모델의 정확도에 영향을 주는 분자 표현 방식과 회귀 모델의 영향을 평가하기 위해.
• 기계학습 모델이 실험 기반 기준과 비교할 때 하이브리드 밀도함수이론(DFT)의 오차보다 낮은 예측 오차를 달성할 수 있는지 평가하기 위해.
• 기계학습 모델이 기저 상태 분자 성질을 예측할 때 화학적 정확도 또는 그 이상의 정확도에 도달할 수 있는지 확인하기 위해.
• 고정밀 예측을 위한 가장 효과적인 분자 표현 방식과 회귀 모델 조합을 특정하기 위해.
• 실험 데이터나 명시적으로 상관관계가 있는 양자역학적 데이터와 같은 더 정밀한 기준 데이터로 훈련된 경우, 기계학습 모델이 DFT를 초월할 잠재력이 있는지 탐색하기 위해.

제안 방법

• DFT로 계산된 성질을 포함한 약 117,000개의 유기 분자로 구성된 QM9 데이터베이스에서 모델을 훈련하고 테스트하였다.
• 다양한 분자 표현 방식을 평가: 쿨롱 행렬, 바구니 형태의 결합, BAML, ECFP4, 분자 그래프(MG), 그리고 새로운 분포 기반 변형(HD, HDA/MARAD, HDAD).
• 다양한 회귀 모델 적용: 베이지안 릿지 회귀(BR), 엘라스틱넷 정규화 선형 회귀(EN), 랜덤 포레스트(RF), 커널 릿지 회귀(KRR), 그래프 컬러션 네트워크(GC), 게이트드 그래프 네트워크(GG).
• 학습 데이터 크기의 함수로 외부 샘플 예측 오차를 측정하기 위해 학습 곡선을 사용하여 모델 성능을 체계적으로 비교하였다.
• 모델 예측 결과를 직접 하이브리드 DFT 기준 값과 비교하고 실험 기준 값과의 편차를 평가하였다.
• 예측 정확도를 루트 평균 제곱 오차(RMSE)와 화학적 정확도 기준(열화학적 성질의 경우 1 kcal/mol, 전자적 성질의 경우 0.01 eV)을 사용하여 정량화하였다.

실험 결과

연구 질문

• RQ1 DFT 데이터로 훈련된 기계학습 모델이 실험 기준과 비교할 때 하이브리드 DFT의 오차보다 낮은 예측 오차를 달성할 수 있는가?
• RQ2 어떤 분자 표현 방식과 회귀 모델 조합이 다양한 전자적 및 에너지적 성질에 대해 가장 정확한 예측을 내는가?
• RQ3 표준 기술자표현 방식과 비교할 때 분포 기반 표현 방식(예: 거리, 각도, 회전각의 히스토그램)이 모델 성능을 얼마나 향상시키는가?
• RQ4 어느 기계학습 모델도 연구된 13개의 성질 전반에 걸쳐 화학적 정확도 이하의 외부 샘플 예측 오차를 달성하는가?
• RQ5 실험 데이터나 명시적으로 상관관계가 있는 양자역학적 데이터와 같은 더 정밀한 기준 데이터로 훈련된 경우, 기계학습 모델이 DFT의 정확도를 초월할 잠재력은 무엇인가?

주요 결과

• 모든 기계학습 모델이 하이브리드 DFT 기준과 비교할 때 외부 샘플 예측 오차가 하이브리드 DFT의 일반적인 실험 기반 오차 이하로 나타났다.
• 가장 뛰어난 성능을 보인 모델들은 열화학적 성질의 경우 1 kcal/mol, 전자적 성질의 경우 0.01 eV 이내로 화학적 정확도 이하의 예측 오차를 지속적으로 기록하였다.
• 그래프 기반 모델(GC와 GG)과 분포 기반 표현 방식(HD, HDA/MARAD 등)의 조합이 대부분의 성질에서 뛰어난 성능을 보였다.
• 심지어 선형 모델인 베이지안 릿지 회귀도 분자 그래프나 히스토그램과 같은 적절한 표현 방식과 조합하면 화학적 정확도 이하의 성능을 달성하였다.
• 이 연구는 실험 데이터나 매우 정밀한 상관관계가 있는 양자역학적 데이터로 훈련된 경우 기계학습 모델이 하이브리드 DFT의 정확도를 초월할 수 있다는 수치적 증거를 제공한다.
• 학습 곡선 분석을 통해 빠른 수렴이 이루어졌으며, 낮은 학습 데이터 크기에서 예측 오차가 안정화되어 데이터 효율성이 높음을 시사하였다.