[논문 리뷰] Fast and Uncertainty-Aware Directional Message Passing for Non-Equilibrium Molecules

Johannes Gasteiger, Shankari Giri외 2명|arXiv (Cornell University)|2020. 11. 28.

Machine Learning in Materials Science인용 수 160

한 줄 요약

DimeNet++은 비평형 분자에 대한 방향성 메시지 전달을 가속화하고 정확도를 높이며 COLL을 통한 비평형 연구를 가능하게 하고 불확실성 정량 분석을 수행한다.

ABSTRACT

Many important tasks in chemistry revolve around molecules during reactions. This requires predictions far from the equilibrium, while most recent work in machine learning for molecules has been focused on equilibrium or near-equilibrium states. In this paper we aim to extend this scope in three ways. First, we propose the DimeNet++ model, which is 8x faster and 10% more accurate than the original DimeNet on the QM9 benchmark of equilibrium molecules. Second, we validate DimeNet++ on highly reactive molecules by developing the challenging COLL dataset, which contains distorted configurations of small molecules during collisions. Finally, we investigate ensembling and mean-variance estimation for uncertainty quantification with the goal of accelerating the exploration of the vast space of non-equilibrium structures. Our DimeNet++ implementation as well as the COLL dataset are available online.

연구 동기 및 목표

• 비평형 반응 및 왜곡된 구성에서 ML 분자 모델링을 확장합니다.
• 에너지와 원자 힘을 위한 빠르고 정확하며 일반화 가능한 GNN을 개발합니다.
• 반응성 분자 구성을 포함한 비평형 COLL 데이터셋을 만듭니다.
• 비평형 영역에서 에너지 및 힘 예측에 대한 불확실성 정량화 전략을 조사합니다.

제안 방법

• DimeNet의 비싼 이차 방향 상호작용을 Hadamard 곱으로 대체하고 기저 표현을 위해 2-layer MLP로 보상합니다.
• 내림/올림 투영 계층이 있는 임베딩 계층 구조를 구현하여 임베딩 크기를 줄이고 속도와 표현력을 향상시킵니다.
• 가능한 곳에서 네트워크 깊이를 6에서 4층으로 축소하고 임베딩/텐서 표현을 조정하여 정확도를 유지합니다.
• 향상된 아키텍처로 방향성 메시지 전달을 유지하여 결합 거리와 각도를 빠르고 확장 가능한 방식으로 모델링합니다.
• QM9와 COLL 데이터셋에서 비평형 구성에 대한 속도, 정확도 및 강건성을 평가합니다.
• 에너지 및 힘 예측에 대한 불확실성 정량화 방법(앙상블 및 평균-분산 추정)과 그 한계를 탐구합니다.

실험 결과

연구 질문

• RQ1 QM9와 같은 평형 벤치마크에서 더 빠른 실행 시간을 달성하면서 정확도를 향상시키거나 유지할 수 있을까요?
• RQ2 COLL과 같은 매우 비평형적이고 반응적인 구성에 대해 DimeNet++의 일반화 성능은 어느 정도인가요?
• RQ3 표준 불확실성 정량화 방법(앙상블, 평균-분산 추정)이 비평형 영역에서 에너지 및 힘의 불확실성 예측에 신뢰할 수 있나요?
• RQ4 비평형 분자 데이터의 특성과 도전 과제가 ML 모델 학습 및 불확실성 추정에 어떤 영향을 주나요?

주요 결과

• DimeNet++는 원래 DimeNet보다 8배 빠르고 평균적으로 약 10% 더 높은 정확도를 보이며 QM9에서 에너지는 약 20% 향상이다.
• COLL 데이터셋에서 DimeNet++는 SchNet을 크게 능가합니다 (DimeNet++의 MAE E = 0.047 eV, MAE F = 0.040 eV)이며 SchNet의 오차보다 더 낮습니다.
• COLL 데이터셋(140k 구성)은 왜곡된 결합/각도를 가진 더 넓은 비평형 공간을 포함하여 QM9보다 더 큰 도전을 제시합니다.
• 앙상블링과 평균-분산 추정을 통한 불확실성 정량화는 어려움을 겪습니다: 에너지 불확실성은 힘 불확실성의 신뢰할 수 있는 지표가 아니고, 앙상블은 상당한 계산 비용을 수반합니다.
• 앙상블은 힘 불확실성 추정에 더 나은 지표를 제공하지만 비용이 더 들고, MVE는 힘 불확실성에 대해 한정된 유용성을 보입니다.