[논문 리뷰] Beyond the Training Domain: Robust Generative Transition State Models for Unseen Chemistry

Samir Darouich, Jacob Toney외 4명|arXiv (Cornell University)|2026. 01. 23.

Machine Learning in Materials Science인용 수 0

한 줄 요약

이 논문은 새로운 원소 및 촉매 화학에서 생성형 전이 상태(TS) 모델을 벤치마크하고 일반화 한계를 드러내며, 보이지 않는 화학에서 TS 예측을 개선하기 위해 평형 구체(conformer) 기반의 자기지도 사전학습을 도입하여 미세 조정 데이터 필요성을 줄인다.

ABSTRACT

Transition states (TSs) govern the rates and outcomes of chemical reactions, making their accurate prediction a central challenge in computational chemistry. Although recent machine-learning models achieve near chemical accuracy in the prediction of TS structures and the associated reaction barriers for small organic reactions, their ability to generalize beyond the training domain remains largely unexplored. Here, we introduce targeted benchmarks to probe chemical and structural novelty in generative TS prediction. Building on Transition1x, a large-scale dataset of reactions involving small organic molecules, we construct curated extensions incorporating controlled elemental substitutions and diverse transition-metal complexes (TMC). These benchmarks reveal fundamental limitations of generative models in the generalization to previously unseen elements. As a result, they produce unphysical geometries and large energetic errors, even for reactions structurally similar to well-predicted organic systems. To address this challenge, we introduce a self-supervised pretraining strategy based on equilibrium conformers that exposes generative TS models to novel chemical environments prior to targeted fine-tuning. Across the newly proposed benchmarks, self-supervised pretraining substantially improves TS prediction for previously unseen systems, lowering the median RMSD of TS geometries on T1x-TMC reactions from 0.39 to 0.19 $\mathring{A}$ and reducing fine-tuning data requirements by up to 75%, enabling reliable performance even in low-data regimes. Overall, the integration of generative TS models with self-supervised pseudo-reaction pretraining provides an efficient, scalable, and chemically robust framework for elucidating TSs well beyond the small organic molecule domain, establishing a foundation for investigating complex and catalytically relevant reaction landscapes.

연구 동기 및 목표

• 최신 생성형 TS 모델의 일반화를 작은 유기 분자를 넘어서 평가한다.
• 원소 수준의 신규성 및 전이금속 착합물(TMC) 화학을 도입하는 벤치마크를 개발한다.
• 분포를 벗어난 화학에서 기존 모델의 한계 및 실패 모드를 평가한다.
• 평형 구체를 이용한 자기지도 사전학습 전략을 제안하여 전이성 및 데이터 효율성을 향상시킨다.

제안 방법

• Transition1x-2p3p4p를 동일족 원소로 같은 주기까지 단일 원자를 치환하고 IRC와 함께 P-RFO를 통해 TS를 재최적화하여 생성한다.
• Transition1x-TMC를 열 촉매 관련 전이금속 착합물 10개에 Transition1x TS를 삽입하고 GFN2-xTB에서 최적화하여 생성한다.
• 새 벤치마크에서 기본 모델(React-OT 및 AEFM)을 평가하여 새로운 원소에서의 성능 저하를 식별한다.
• 평형 구체로부터 의사 반응을 구성하여 구체 기반 자기지도 사전학습을 적용한다(가장 높은 에너지를 TS로, 중간을 반응물로, 가장 낮은 것을 생성물로 설정).
• 대상 데이터세트에서 사전학습된 모델을 미세조정하고 TS 기하학적 정확도(RMSD) 및 에너지 오차의 개선을 평가한다.
• 선별적 재최적화를 통해 DFT 수준으로의 전이 가능성을 입증하고 GFN2-xTB 대 DFT 에너지를 비교한다.

Figure 1: Overview of data generation workflow for Transition1x-2p3p4p and Transition1x-TMC. a A Transition1x TS structure serves as the starting point for generating both benchmarks. In Transition1x-2p3p4p, a single atom is replaced by an element from the same group up to the third period, producin

실험 결과

연구 질문

• RQ1 보이지 않는 원소와 새로운 반응 메커니즘을 가진 반응에서 기존 생성형 TS 모델은 얼마나 잘 작동하는가?
• RQ2 분포를 벗어난 화학으로 TS 예측을 외삽할 때 주요 실패 모드는 무엇인가?
• RQ3 구체 기반 자기지도 사전학습이 보이지 않는 화학에서 TS 예측의 일반화 및 데이터 효율성을 향상시킬 수 있는가?
• RQ4 준경험적(GFN2-xTB) 및 DFT 수준 데이터를 얼마나 통합하여 정확도를 유지하면서 고처리량 탐사를 가능하게 할 수 있는가?

주요 결과

• 생성형 TS 모델(React-OT, AEFM)은 새로운 원소 유형이 도입될 때 빠르게 성능 저하를 보이며 Transition1x-TMC에서 최대 두 개의 새로운 원소까지 증가.
• Transition1x-2p3p4p에서 순수 RMSD는 HCNO에서 0.04 Å에서 하나의 새로운 원소로 0.18 Å로 증가; Transition1x-TMC에서 중앙값 RMSD는 0.39 Å로 상승( HCNO 0.05 Å 대비 ).
• 평형 구체에 대한 자기지도 사전학습은 TS 예측을 현저히 개선하여 데이터 세트에 따라 중간값 RMSD를 0.10–0.19 Å로 감소시키고 미세조정 데이터 필요성을 최대 75%까지 감소시킨다.
• 의사 반응으로 사전학습은 데이터 효율적 전이를 가능하게 하여 실제 반응의 일부만으로 거의 완전한 학습 성능에 도달한다(예: 25–50% 데이터).
• 확장 가능한 기반으로 GFN2-xTB를 사용한 하이브리드 접근은 DFT 수준의 TS 에너지와 합리적 일치를 보이며(데이터 세트 간 ΔE_TS 약 25% 이내); 선택된 예측은 DFT TS 구조로 수렴할 수 있는 상당한 성공률을 보인다.
• DFT 수준의 구체 사전학습은 정확도를 더 향상시키며(예: 1500개의 의사 반응으로 Transition1x-TMC RMSD를 0.47에서 0.42 Å로 감소).

Figure 2: Failure modes of the vanilla React-OT model on reactions involving novel chemistry. a Mean bond distance mean absolute error (DMAE) of generated TS structures as a function of the number of previously unseen atom types, showing a rapid increase in error with growing elemental novelty. Tran