[论文解读] CatTSunami: Accelerating Transition State Energy Calculations with Pre-trained Graph Neural Networks

Brook Wander, Muhammed Shuaibi+3 more|arXiv (Cornell University)|May 3, 2024

Machine Learning in Materials Science被引用 7

一句话总结

本文提出 CatTSunami，一个框架，使用来自 OC20 的预训练图神经网络来加速 NEB 计算以获得过渡态能量，在 0.1 eV 内接近 DFT 的成功率约 91%，并实现高达 28 倍加速，在 OC20NEB 和两项催化剂案例研究中给出示例。

ABSTRACT

Direct access to transition state energies at low computational cost unlocks the possibility of accelerating catalyst discovery. We show that the top performing graph neural network potential trained on the OC20 dataset, a related but different task, is able to find transition states energetically similar (within 0.1 eV) to density functional theory (DFT) 91% of the time with a 28x speedup. This speaks to the generalizability of the models, having never been explicitly trained on reactions, the machine learned potential approximates the potential energy surface well enough to be performant for this auxiliary task. We introduce the Open Catalyst 2020 Nudged Elastic Band (OC20NEB) dataset, which is made of 932 DFT nudged elastic band calculations, to benchmark machine learned model performance on transition state energies. To demonstrate the efficacy of this approach, we replicated a well-known, large reaction network with 61 intermediates and 174 dissociation reactions at DFT resolution (40 meV). In this case of dense NEB enumeration, we realize even more computational cost savings and used just 12 GPU days of compute, where DFT would have taken 52 GPU years, a 1500x speedup. Similar searches for complete reaction networks could become routine using the approach presented here. Finally, we replicated an ammonia synthesis activity volcano and systematically found lower energy configurations of the transition states and intermediates on six stepped unary surfaces. This scalable approach offers a more complete treatment of configurational space to improve and accelerate catalyst discovery.

研究动机与目标

• 促进更快速获得过渡态能量，以加速催化剂发现。
• 评估 OC20 预训练模型对基于 NEB 的过渡态计算的零-shot 迁移能力。
• 将 OC20NEB 作为 ML 加速 NEB 性能的基准数据集。
• 通过大规模反应网络和微观动力学火山分析来展示可扩展性。

提出的方法

• 使用现成的 OC20 预训练模型（零-shot）进行 NEB 计算。
• 创建 OC20NEB 数据集，包含 932 个 RPBE DFT NEB 以用于基准测试。
• 评估五个 ML 模型（Eqiformer v2 153M 与 31M、GemNet-OC、PaiNN、DimeNet++）在 NEB 加速上的表现。
• 将成功定义为 ML NEB 的激活能在 0.1 eV 内接近 DFT 的比例。
• 演示四种 ML+DFT 混合 NEB 策略（All ML、ML+3 DFT SPs、ML+2 RX+1 SP、ML 预放松 + DFT RX NEB）以权衡速度与精度。
• 与 DFT NEB 进行地面比较，以确保基准测试公平。

Figure 1 : A summary of the work presented here. We demonstrate that models trained on local adsorbate relaxations perform well in a zero-shot application to NEB calculations. To do so we created a validation dataset of 932 RPBE NEB calculations. With this dataset we tested 4 ML approaches to accele

实验结果

研究问题

• RQ1 与 DFT 相比，零-shot 预训练的 OC20 模型是否能够准确定位 NEB 计算的过渡态？
• RQ2 在不同反应类别（解吸、解离、迁移）中，利用 ML 加速 NEB 可以实现的加速与准确性权衡是多少？
• RQ3 OC20NEB 基准如何反映模型对训练中未见过的 NEB 任务的一般化能力？
• RQ4 ML 加速的 NEB 能否在显著降低计算量的前提下实现对反应网络和微观动力学模型的穷尽性探索？
• RQ5 在重新评估时，ML 加速的结果是否会在定性上改变已知的动力学洞见（例如 BEP 关系、氨合成火山）？

主要发现

• 使用 OC20 预训练模型的 ML NEB 在找到与 DFT 能量相近的过渡态方面达到 91% 的成功率，差值小于 0.1 eV。
• 在所有反应中，ML 加速 NEB 计算实现平均 28 倍的加速。
• OC20NEB 包含 932 个 RPBE DFT NEB，覆盖解吸、解离和转移，ID/OOD 材料显示出可比的性能。
• 对所有力/能量评估使用 ML 可以实现高达 2200x 的加速，70% 的成功率；将 ML 放松与有限的 DFT 步骤结合可提高精度（88x 加速，88% 精度）。
• ML 预放松再加少量 DFT 评估能够识别出纯 DFT 不一定能找到的低能过渡态，有助于发现更低能量的途径。
• 在案例研究中，针对 CO 氢化和氨合成的 ML 加速 NEB 在 1500x 更快的工作流中达到更低的 MAE（0.04 eV）比 BEP 基于方法（0.20 eV）更优；一个包含 61 个中间体、174 个反应的网络在 12 个 GPU 天内重复，而使用 DFT 需要 52 GPU 年。

Figure 2 : Baseline performance of five models according to the success metric. The percent of systems with an activation energy within 0.1 eV of the DFT determined activation is shown in (a) for systems where ML forces converged for the NEB. The percent of systems which had converged forces is show