[논문 리뷰] Quantum chemistry-augmented neural networks for reactivity prediction: Performance, generalizability and interpretability

Thijs Stuyver, Connor W. Coley|arXiv (Cornell University)|2021. 07. 22.

Machine Learning in Materials Science참고 문헌 19인용 수 6

한 줄 요약

이 논문은 구조 기반 그래프 신경망에 밀도 함수 이론(DFT)에서 유도된 반응성 기술자—예를 들어 후쿠이 함수, 원자 전하, NMR 피로화 상수—를 통합하여 반응성 예측 성능을 햖थ한 양자 화학 보강형 그래프 신경망(ml-QM-GNN)을 제안한다. 이 모델은 데이터가 부족한 조건에서도 특히 우수한 성능을 보이며, 구조 기반 GNN에 비해 정확도와 일반화 능력이 뛰어나고, 기존 물리 유기 화학 원리와의 연결을 통해 설명 가능성을 확보한다.

ABSTRACT

There is a perceived dichotomy between structure-based and descriptor-based molecular representations used for predictive chemistry tasks. Here, we study the performance, generalizability, and interpretability of the recently proposed quantum mechanics-augmented graph neural network (ml-QM-GNN) architecture as applied to the prediction of regioselectivity (classification) and of activation energies (regression). In our hybrid QM-augmented model architecture, structure-based representations are first used to predict a set of atom- and bond-level reactivity descriptors derived from density functional theory (DFT) calculations. These estimated reactivity descriptors are combined with the original structure-based representation to make the final reactivity prediction. We demonstrate that our model architecture leads to significant improvements over structure-based GNNs in not only overall accuracy, but also in generalization to unseen compounds. Even when provided training sets of only a couple hundred labeled data points, the ml-QM-GNN outperforms other state-of-the-art model architectures that have been applied to these tasks. Further, because the predictions of our model are grounded in (but not restricted to) QM descriptors, we are able to relate predictions to the conceptual frameworks commonly used to gain qualitative insights into reactivity phenomena. This effort results in a productive synergy between theory and data science, wherein our QM-augmented models provide a data-driven confirmation of previous qualitative analyses, and these analyses in their turn facilitate insights into the decision-making process occurring within ml-QM-GNNs.

연구 동기 및 목표

• 데이터 기반 기계 학습과 양자 화학 사이의 격차를 메우기 위해 물리적으로 의미 있는 기술자를 그래프 신경망에 통합한다.
• 학습 데이터가 수백 개 정도로 제한된 경우에도 반응성 예측 모델의 성능과 일반화 능력을 향상시킨다.
• 기존 물리 유기 화학의 개념적 프레임워크에 기반하여 모델의 설명 가능성을 향상시킨다.
• QM 보강 모델이 기존의 정성적 반응성 경향을 재현하고 확인할 수 있으며, 데이터 기반의 의사결정 과정에 대한 통찰을 제공할 수 있음을 검증한다.
• 하이브리드 모델이 다양한 반응성 예측 작업에서 순수 구조 기반 GNN보다 정확도와 강건성 면에서 뛰어나다는 것을 입증한다.

제안 방법

• ml-QM-GNN는 먼저 분자의 구조 기반 GNN을 통해 분자 구조에서 원자 및 결합 수준의 반응성 기술자를 예측한다.
• 이 기술자들은 DFT 계산에서 유도되며, 후쿠이 함수, 원자 전하(NPA를 통한), NMR 피로화 상수 포함.
• 예측된 DFT 기술자는 원래 분자 그래프 표현과 결합되어 최종 반응성 예측을 위한 풍부한 입력으로 사용된다.
• 최종 모델은 하이브리드 아키텍처를 사용하여 분류(역학적 선택성) 및 회귀(활성화 에너지) 작업을 종합적으로 학습한다.
• 특정 기술자(예: 딱딱-딱딱 대비 부드럽게-부드럽게 기술자)의 기여도를 분리하는 아블레이션 연구를 통해 모델의 설명 가능성을 향상시킨다.
• 성능 평가는 E2/SN2 및 아romatik 치환 반응 데이터셋에서 5겹 교차 검증과 선택적 샘플링을 통해 수행되었으며, 기준 GNN 및 다른 최신 모델과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 DFT에서 유도된 반응성 기술자를 GNN 아키텍처에 통합함으로써 예측 정확도와 일반화 능력이 뚜렷이 향상되는가, 특히 데이터가 적은 환경에서 그렇다면?
• RQ2 양자 화학 기술자의 통합이 반응성 예측에서 기계 학습 모델의 설명 가능성에 어떻게 기여하는가?
• RQ3 ml-QM-GNN의 예측 결과가 HSAB 원리나 최전구 오비탈 이론과 같은 기존 물리 유기 화학 원리와 어느 정도 일치하는가?
• RQ4 다른 종류의 반응성 기술자(예: 딱딱-딱딱 대비 부드럽게-부드럽게)는 모델 성능과 의사결정 과정에 어떻게 기여하는가?
• RQ5 학습에 사용된 레이블이 수백 개 정도일 때, 모델이 새로운 화합물과 반응 유형으로도 효과적으로 일반화되는가?

주요 결과

• E2/SN2 데이터셋에서 레이블이 200개 뿐인 조건에서도 ml-QM-GNN는 활성화 에너지 예측의 테스트 RMSE가 5.35 ± 0.08 kcal/mol을 기록하여, 동일 조건에서 일반 GNN의 RMSE(16.77 ± 0.27 kcal/mol)를 뛰어넘었다.
• 아로마틱 치환 반응 데이터셋에서 5겹 교차 검증에서 분류 정확도는 98.8% (1499/1516)를 기록했으며, 예측 결과와 물리 유기 화학 기준 간 높은 일치를 보였다.
• 아블레이션 연구 결과, 딱딱-딱딱 기술자(전하, NMR 피로화 상수)와 부드럽게-부드럽게 기술자(후쿠이 함수)에 기반한 모델 각각이 서로 다른 반응성 패턴을 포착했으며, 전체 모델이 각각의 아블레이션 버전을 뛰어넘는 성능을 보였다.
• 모델의 예측 결과는 물리 유기 화학의 전기적 상호작용 및 최전구 오비탈 기준과 매우 일치했으며, 전기적 상호작용과 최전구 오비탈 기준이 모두 충족된 783개의 데이터 포인트 중에서 모든 모델이 정확하게 분류했다.
• 레이블이 극히 적은 경우(200개)에도 ml-QM-GNN는 최신 모델들보다 뛰어난 일반화 능력을 보였으며, 데이터가 부족한 환경에서의 강건성을 입증했다.
• QM 기술자의 통합 덕분에 모델의 의사결정 과정을 의미 있는 방식으로 해석할 수 있었으며, HSAB 및 개념적 DFT와 같은 기존 이론적 프레임워크와의 연결을 가능케 했다.