[論文レビュー] Beyond the Training Domain: Robust Generative Transition State Models for Unseen Chemistry

Samir Darouich, Jacob Toney+4 more|arXiv (Cornell University)|Jan 23, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

論文は新たな元素・触媒化学で生成的遷移状態（TS）モデルをベンチマークし、一般化の限界を明らかにし、 unseen chemistry に対して TS 予測を改善する平衡異性体の自己教師あり事前学習を導入してファインチューニングデータの必要性を削減します。

ABSTRACT

Transition states (TSs) govern the rates and outcomes of chemical reactions, making their accurate prediction a central challenge in computational chemistry. Although recent machine-learning models achieve near chemical accuracy in the prediction of TS structures and the associated reaction barriers for small organic reactions, their ability to generalize beyond the training domain remains largely unexplored. Here, we introduce targeted benchmarks to probe chemical and structural novelty in generative TS prediction. Building on Transition1x, a large-scale dataset of reactions involving small organic molecules, we construct curated extensions incorporating controlled elemental substitutions and diverse transition-metal complexes (TMC). These benchmarks reveal fundamental limitations of generative models in the generalization to previously unseen elements. As a result, they produce unphysical geometries and large energetic errors, even for reactions structurally similar to well-predicted organic systems. To address this challenge, we introduce a self-supervised pretraining strategy based on equilibrium conformers that exposes generative TS models to novel chemical environments prior to targeted fine-tuning. Across the newly proposed benchmarks, self-supervised pretraining substantially improves TS prediction for previously unseen systems, lowering the median RMSD of TS geometries on T1x-TMC reactions from 0.39 to 0.19 $\mathring{A}$ and reducing fine-tuning data requirements by up to 75%, enabling reliable performance even in low-data regimes. Overall, the integration of generative TS models with self-supervised pseudo-reaction pretraining provides an efficient, scalable, and chemically robust framework for elucidating TSs well beyond the small organic molecule domain, establishing a foundation for investigating complex and catalytically relevant reaction landscapes.

研究の動機と目的

• 最先端の生成的 TS モデルが小分子有機化合物を超えて一般化できるかを評価する。
• 元素的新規性と遷移金属錯体（TMC）化学を導入するベンチマークを開発する。
• out-of-distribution 化学に対する既存モデルの限界と故障モードを評価する。
• 平衡異性体を用いた自己教師あり事前学習戦略を提案し、転移性とデータ効率を向上させる。

提案手法

• 同じ族元素を用いて単一原子を置換し、第三周期まで拡張して TS を IRC 付き P-RFO で再最適化して Transition1x-2p3p4p を作成する。
• Transition1x TS を ten 個の触媒的に関連する遷移金属複合体に埋め込み、GFN2-xTB で最適化して Transition1x-TMC を作成する。
• 新しいベンチマークで baseline モデル（React-OT および AEFM）を評価し、新規元素での性能劣化を特定する。
• 平衡異性体から pseudo-reaction を構築して、TS を最高エネルギーとして、反応物を中間体、生成物を最低エネルギーとする自己教師あり事前学習を適用する。
• 事前学習済みモデルをターゲットデータセットでファインチューニングし、TS ジオメトリの精度（RMSD）とエネルギー誤差の改善を評価する。
• 選択的再最適化を介して DFT レベルへの転移性を示し、GFN2-xTB と DFT エネルギーを比較する。

Figure 1: Overview of data generation workflow for Transition1x-2p3p4p and Transition1x-TMC. a A Transition1x TS structure serves as the starting point for generating both benchmarks. In Transition1x-2p3p4p, a single atom is replaced by an element from the same group up to the third period, producin

実験結果

リサーチクエスチョン

• RQ1 見かける元素が unseen な反応や新しい反応機構を持つ場合、既存の生成的 TS モデルはどの程度機能するか。
• RQ2 外挿された out-of-distribution 化学に対して TS 予測を拡張する際の主な故障モードは何か。
• RQ3 平衡異性体ベースの自己教師あり事前学習は unseen chemistry における一般化とデータ効率を改善できるか。
• RQ4 半経験的（GFN2-xTB）と DFT レベルのデータをどの程度統合して、精度を保ちつつハイスループット探索を可能にできるか。

主な発見

• 生成的 TS モデル（React-OT、AEFM）は新規元素タイプが導入されると急速に性能が低下する（Transition1x-TMC で最大で two 新規元素まで）。
• Transition1x-2p3p4p では、素の RMSD は HCNO の 0.04 Å から新規元素1つで 0.18 Å へ悪化；Transition1x-TMC では中央値 RMSD が 0.05 Å から 0.39 Å へ上昇。
• 平衡異性体に対する自己教師あり事前学習は TS 予測を大幅に改善し、データセットに応じて中央値 RMSD を 0.10–0.19 Å に低下させ、ファインチューニングデータの必要性を最大で 75%低減する。
• pseudo-reaction を用いた事前学習はデータ効率の高い転移を可能にし、実デ反応の一部データのみでほぼ完全に訓練済みの性能を達成する（例：データの 25–50%）。
• GFN2-xTB を拡張性の高い基盤として用いるハイブリッドアプローチは、DFT レベルの TS エネルギーと reasonably 一致する（各データセットで ΔE_TS が約 25% 程度の差に収まる）。選択的予測は DFT TS 構造へ収束する高い成功率を示す。
• DFT レベルの異性体事前学習はさらに精度を向上させる（例：Transition1x-TMC RMSD を 0.47 Å から 0.42 Å に 1500 個の pseudo-reaction で低下）。

Figure 2: Failure modes of the vanilla React-OT model on reactions involving novel chemistry. a Mean bond distance mean absolute error (DMAE) of generated TS structures as a function of the number of previously unseen atom types, showing a rapid increase in error with growing elemental novelty. Tran