[논문 리뷰] ReactAIvate: A Deep Learning Approach to Predicting Reaction Mechanisms and Unmasking Reactivity Hotspots

Ajnabiul Hoque, Manajit Das외 2명|arXiv (Cornell University)|2024. 07. 14.

Machine Learning in Materials Science인용 수 4

한 줄 요약

ReactAIvate는 전이 금속 촉매 반응에서 원자 단위 반응 단계를 예측하고 반응성 원자를 식별하는 새로운 해석 가능한 그래프 신경망(GNN) 모델로, 반응성 원자 검출 정확도가 96%이며 단계 분류 정확도가 거의 1에 수렴한다. 이 모델은 새로운 7가지 기구적 단계 데이터셋을 기반으로 그래프 수준 및 노드 수준의 이중 손실 학습 기반으로 구현되어 정확하고 모듈러한 CRM 예측과 전문가가 안내하는 반응성 분석을 위한 강력한 분포 외 일반화 성능을 제공한다.

ABSTRACT

A chemical reaction mechanism (CRM) is a sequence of molecular-level events involving bond-breaking/forming processes, generating transient intermediates along the reaction pathway as reactants transform into products. Understanding such mechanisms is crucial for designing and discovering new reactions. One of the currently available methods to probe CRMs is quantum mechanical (QM) computations. The resource-intensive nature of QM methods and the scarcity of mechanism-based datasets motivated us to develop reliable ML models for predicting mechanisms. In this study, we created a comprehensive dataset with seven distinct classes, each representing uniquely characterized elementary steps. Subsequently, we developed an interpretable attention-based GNN that achieved near-unity and 96% accuracy, respectively for reaction step classification and the prediction of reactive atoms in each such step, capturing interactions between the broader reaction context and local active regions. The near-perfect classification enables accurate prediction of both individual events and the entire CRM, mitigating potential drawbacks of Seq2Seq approaches, where a wrongly predicted character leads to incoherent CRM identification. In addition to interpretability, our model adeptly identifies key atom(s) even from out-of-distribution classes. This generalizabilty allows for the inclusion of new reaction types in a modular fashion, thus will be of value to experts for understanding the reactivity of new molecules.

연구 동기 및 목표

• 화학 반응 메커니즘(CRMs)에 대한 종합적이고 기구 특화된 데이터셋의 부족 문제를 해결하기 위해, 특히 다단계 전이 금속 촉매 반응에 초점을 맞춘다.
• 단일 문자 오류로 인해 비일관된 메커니즘을 생성하기 쉬운 시퀀스-투-시퀀스(Seq2Seq) 모델의 한계를 극복하기 위해 개발한다.
• 모델이 원자 단위 반응 단계를 분류할 뿐만 아니라 반응성 원자를 식별함으로써 전문가가 활용할 수 있는 화학적으로 해석 가능한 통찰을 제공한다.
• 분포 외(OOD) 클래스 예측과 의미 있는 주의력 가이던스를 지원함으로써 새로운 반응 유형으로의 모듈러한 확장이 가능하도록 설계한다.
• 계산 비용이 높은 양자역학(QM) 방법에 대한 신뢰성 있고 빠르며 해석 가능한 대안을 제공한다.

제안 방법

• 모델는 반응물, 시약, 촉매의 분자 그래프를 입력으로 받아 국소적 및 전반적인 구조적 특징을 모두 포착하는 그래프-주의 기반 GNN을 사용한다.
• 이중 손실 학습 목표를 적용한다: 그래프 수준의 손실은 원자 단위 반응 단계(7개 클래스)를 분류하기 위한 것이고, 노드 수준의 손실은 각 단계 내 반응성 원자를 식별하기 위한 것이다.
• 주의 메커니즘은 노드 수준의 손실에 의해 명시적으로 유도되어, 팔라디움(Pd) 중심과 결합 단절/형성 부위와 같은 화학적으로 관련된 반응 중심에 집중되도록 보장한다.
• 모델는 산화 첨가, 투금속화, 재감소 제거 등 7개의 다른 원자 단위 반응 단계를 포함한 3가지 촉매 반응 계열로 구성된 새로 구축한 데이터셋을 기반으로 학습된다.
• OOD 일반화를 위해 전용의 '반응 없음' 클래스(S8)를 할당하고, 주의력 시각화를 통해 반응이 발생하지 않을 경우에도 잠재적인 반응성 부위를 전문가가 분석할 수 있도록 도와준다.
• SMILES 기반 시퀀스 생성 방식의 오류 전파 문제를 피하기 위해, 반응물과 촉매에서 순차적으로 원자 단위 반응 단계를 예측함으로써 전체 CRM 재구성 가능

Figure 1: (a) A representative example of oxidative addition template, (b) complete workflow of our proposed ReactAIvate method, (c) process of reaction step classification and reactive atom identification using ReactAIvate

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 다단계 촉매 반응 메커니즘에서 높은 정밀도와 해석 가능성으로 원자 단위 반응 단계를 정확하게 분류할 수 있는가?
• RQ2 GNN 기반 모델은 각 원자 단위 반응 단계 내에서 반응성 원자를 얼마나 잘 식별할 수 있으며, 이는 표준 시퀀스 모델 대비 메커니즘 해석 가능성 향상에 기여하는가?
• RQ3 모델은 비반응성 또는 새로운 메커니즘을 포함하는 분포 외(OOD) 반응 쌍에 대해 어느 정도 일반화할 수 있는가?
• RQ4 이중 손실 학습(GNN 수준 + 노드 수준)은 실제 반응 중심에 주의력을 집중시켜 화학자 직관과 일치시키는가?
• RQ5 모델은 오류 민감도가 높은 SMILES 시퀀스 생성에 의존하지 않고도 전체 CRM을 신뢰성 있고 모듈러하게 예측할 수 있는가?

주요 결과

• 모델은 원자 단위 반응 단계 분류에서 거의 1에 수렴하는 정확도를 달성하여 기구적 전환을 정확히 식별하는 데 있어 뛰어난 신뢰성을 입증한다.
• 모델은 반응성 원자 식별에서 96%의 정확도를 확보했으며, 주의력 맵을 통해 팔라디움(Pd), 염소(Cl), 결합 단절 또는 형성에 관여하는 탄소(C) 원자와 같은 핵심 반응 중심이 명확히 강조됨을 확인했다.
• 주의력 시각화 결과 모델이 팔라디움 중심과 아릴 할라이드 결합과 같은 화학적으로 관련된 영역에 집중하고 있음을 확인하여, 모델의 해석 가능성과 전문가의 추론과의 일치성을 검증했다.
• OOD 샘플에 대해서도 모델은 '반응 없음' 클래스(S8)를 정확히 할당하고도 잠재적인 반응성 부위에 주의력을 집중시키며 전문가 분석에 실질적인 통찰을 제공한다.
• 모델은 쿠마다 커플링과 같은 복잡한 반응의 전체 CRM을 성공적으로 재구성하여 산화 첨가, 투금속화, 재감소 제거의 세 단계를 순차적으로 정확하게 예측하고 반응성 원자 식별도 정확히 수행했다.
• SMILES 생성에서 단일 문자 오류로 인한 치명적인 실패를 피함으로써 Seq2Seq 기준 모델보다 더 견고한 성능을 보이며 CRM 예측에 있어 더 유리한 성능을 입증했다.

Figure 2: Effect of the inclusion of node-level loss in ReactAIvate demonstrated through attention visualization. The rightmost bar represents min-max rescaled attention values.