[논문 리뷰] GeoTMI:Predicting quantum chemical property with easy-to-obtain geometry via positional denoising

Hyeonsu Kim, Jeheon Woo외 4명|arXiv (Cornell University)|2023. 03. 28.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

GeoTMI는 정확한 기하구조, 손상된 기하구조, 그리고 목표 성질 간의 상호정보를 최대화하여 저비용이며 손상된 3D 기하구조를 사용해 양자화학적 성질을 정확하게 예측할 수 있는 새로운 훈련 프레임워크이다. 위치 복원 기반의 노이즈 제거와 다중목표 손실을 통해 3D GNN 성능을 향상시키며, 분자의 성질 예측, 반응 장벽, 촉매 에너지 예측 과제에서 일관된 정확도 향상을 달성한다.

ABSTRACT

As quantum chemical properties have a dependence on their geometries, graph neural networks (GNNs) using 3D geometric information have achieved high prediction accuracy in many tasks. However, they often require 3D geometries obtained from high-level quantum mechanical calculations, which are practically infeasible, limiting their applicability to real-world problems. To tackle this, we propose a new training framework, GeoTMI, that employs denoising process to predict properties accurately using easy-to-obtain geometries (corrupted versions of correct geometries, such as those obtained from low-level calculations). Our starting point was the idea that the correct geometry is the best description of the target property. Hence, to incorporate information of the correct, GeoTMI aims to maximize mutual information between three variables: the correct and the corrupted geometries and the property. GeoTMI also explicitly updates the corrupted input to approach the correct geometry as it passes through the GNN layers, contributing to more effective denoising. We investigated the performance of the proposed method using 3D GNNs for three prediction tasks: molecular properties, a chemical reaction property, and relaxed energy in a heterogeneous catalytic system. Our results showed consistent improvements in accuracy across various tasks, demonstrating the effectiveness and robustness of GeoTMI.

연구 동기 및 목표

• 실제 양자화학 응용에서 고수준 3D 기하구조 확보가 실현 불가능한 실용적 문제를 해결한다.
• MMFF나 DFT 최적화 오류로 인해 발생하는 손상되거나 저수준의 기하구조를 사용할 경우 3D GNN의 정확도 저하 문제를 해결한다.
• 추론 시 정확한 3D 기하구조에 대한 접근이 불필요한 모델에 종속적이지 않은 프레임워크를 개발한다.
• 정확한 기하구조, 손상된 입력, 목표 성질 간의 상호정보를 최대화하여 강건한 학습을 이끌어내는 것을 목표로 한다.
• 분자의 성질, 반응 장벽, 촉매 시스템을 포함한 다양한 양자화학 과제에서의 일반화 및 강건성을 입증한다.

제안 방법

• 정확한 기하구조 $X$, 손상된 입력 $\tilde{X}$, 목표 성질 $Y$ 간의 세 항목 상호정보 최대화 목적함수를 제안한다.
• GNN이 정방향 전파 중에 학습 가능한 위치 업데이트를 통해 $\tilde{X}$ 를 $X$ 쪽으로 개선하도록 유도하는 노이즈 제거 손실 $\tilde{\theta}$ 를 도입한다.
• 정확한 기하구조에서의 성질 예측, $\tilde{X}$ 에서의 $X$ 재구성, $X$ 에서의 $Y$ 보조 예측을 조합한 다중목표 손실을 활용한다.
• 지표 기하구조가 추론 시 필요 없더라도, 노이즈 제거 목적함수를 통한 부드러운 정규화를 통해 기하오류를 암묵적으로 수정한다.
• Equiformer 및 SchNet과 같은 기존 3D GNN 아키텍처에 원활하게 통합되어 즉각적인 배치가 가능하다.
• 기하구조 표현을 점진적으로 정밀화함으로써 훈련 안정성과 수렴 성능을 향상시키기 위해 점진적 노이즈 제거 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 정확한 기하구조, 손상된 입력, 성질 간의 상호정보 최대화가 3D GNN의 예측 정확도 향상에 기여하는가?
• RQ2 3D GNN 추론 중에 명시적인 위치 정밀화가 저품질 기하구조를 사용할 경우 성능 향상에 기여하는가?
• RQ3 실제 양자화학 과제에서 Noisy Nodes와 같은 기존 노이즈 제거 기반 모델과 비교해 GeoTMI는 어떻게 성능을 냅니까?
• RQ4 GeoTMI는 분자의 성질, 반응 장벽, 촉매 에너지와 같은 다양한 데이터셋과 성질 유형에 대해 얼마나 일반화되는가?
• RQ5 GeoTMI 프레임워크의 구성 요소 중에서 노이즈 제거 손실, 보조 성질 헤드, 위치 업데이트 중 어떤 것이 성능 향상에 가장 기여하는가?

주요 결과

• 기존에 손상된 기하구조만으로 훈련된 기준 모델 대비, GeoTMI는 QM9의 아홉 가지 분자의 성질에 대해 평균 17.6% 향상된 MAE 성능을 달성했다.
• OC20 데이터셋의 IS2RE 과제에서, GeoTMI는 기준 모델 대비 OOD 광물 흡착 에너지 예측의 MAE를 53.8% 향상시켰다.
• IS2RE 벤치마크에서 GeoTMI는 Noisy Nodes 방법을 초월하여, 이완 에너지 예측의 MAE에서 58.0% 향상된 성능을 기록했다.
• 제거 실험 결과, 노이즈 제거 손실, 보조 정확한 기하구조 예측 헤드, 위치 업데이트 중 어느 요소도 제거할 경우 성능 저하가 발생했으며, 특히 정확한 기하구조 헤드 제거 시 장벽 높이 예측에서 가장 큰 성능 하락이 관찰되었다.
• 위치 업데이트 메커니즘이 성능 향상에 크게 기여했으며, 특히 반응 장벽 높이 예측에서 기준 모델 대비 오차를 17.1% 감소시켰다.
• 손상된 기하구조를 사용함에도 불구하고, GeoTMI는 EwT(에너지 기준 0.02 eV 이내)에서는 정밀도 기반 모델과 유사한 성능을 달성했고, OOD 광물 흡착 예측에서는 이를 뛰어넘는 성능을 보였다.