[论文解读] Forces are not Enough: Benchmark and Critical Evaluation for Machine Learning Force Fields with Molecular Simulations

Xiang Fu, Zhenghao Wu+5 more|arXiv (Cornell University)|Oct 13, 2022

Machine Learning in Materials Science被引用 161

一句话总结

本文提出一个基于仿真的基准套件用于分子动力学中的机器学习力场，结果表明仅靠力/能量精度并不能保证真实的轨迹；稳定性和可观测量至关重要，NequIP 通常表现最好但成本较高。

ABSTRACT

Molecular dynamics (MD) simulation techniques are widely used for various natural science applications. Increasingly, machine learning (ML) force field (FF) models begin to replace ab-initio simulations by predicting forces directly from atomic structures. Despite significant progress in this area, such techniques are primarily benchmarked by their force/energy prediction errors, even though the practical use case would be to produce realistic MD trajectories. We aim to fill this gap by introducing a novel benchmark suite for learned MD simulation. We curate representative MD systems, including water, organic molecules, a peptide, and materials, and design evaluation metrics corresponding to the scientific objectives of respective systems. We benchmark a collection of state-of-the-art (SOTA) ML FF models and illustrate, in particular, how the commonly benchmarked force accuracy is not well aligned with relevant simulation metrics. We demonstrate when and how selected SOTA methods fail, along with offering directions for further improvement. Specifically, we identify stability as a key metric for ML models to improve. Our benchmark suite comes with a comprehensive open-source codebase for training and simulation with ML FFs to facilitate future work.

研究动机与目标

• 通过 MD 模拟来评估 ML 力场（FFs）的必要性，而不仅仅是力/能量预测的准确性。
• 筛选多样的 MD 系统（水、有机分子、肽、材料）并定义基于可观测量的指标。
• 将最先进的 ML FF 模型与基于仿真的目标进行对比，以识别当前方法的失效模式和不足。
• 提供一个开源的基准套件，以标准化对 ML FF 的基于仿真的评估。

提出的方法

• 定义一个 ML FF 学习设定，使能量和力从原子配置中学习。
• 开发一套物理上有意义的 MD 可观测量（RDFs, h(r), diffusivity, FES）和稳定性标准。
• 在四个具有代表性的系统上，在现实的 MD 协议下对多种 SOTA ML FF 架构（包括 NequIP、GemNet、DimeNet 等）进行基准测试。
• 引入稳定性阈值，以检测并从可观测统计中排除不稳定的轨迹部分。
• 在力预测和基于仿真的指标上对比模型，以揭示力 MAE 与轨迹质量之间的错配。

实验结果

研究问题

• RQ1 当前的 SOTA ML 力场是否能够可靠地仿真多样的 MD 系统，超越力/能量的准确性？
• RQ2 哪些因素（如稳定性、可观测量）决定 ML FF 在 MD 仿真中的实际可用性？
• RQ3 哪些模型在各系统中兼顾力预测精度、稳定性与集合可观测量的恢复？
• RQ4 训练数据规模如何影响跨模型的基于仿真的性能？

主要发现

• 力的准确性本身并不能与 MD 中的仿真稳定性或集合统计量的恢复相一致。
• 稳定性是实际使用 ML FF 的关键前提，即使力误差很低也可能成为瓶颈。
• 一些高力精度模型在长时间仿真中经常崩溃，而其他具有中等力精度的模型却能产生更好的 MD 可观测量。
• DeepPot-SE 在较大数据预算下通常提供稳健的仿真性能和良好的可观测量恢复，运行时间更快；而 NequIP 通常在成本较高的情况下提供最佳的总体力和仿真指标。
• 跨系统最优秀的力预测模型也可能不稳定；而稳定、准确的 MD 统计量可以来自力 MAE 相对适中的模型（如某些深度 Pot 基或经验方法）。
• 基准测试表明 MD17、水、alanine dipeptide、LiPS 具有不同的挑战，强调在 ML FF 研究中需要多样化、基于仿真的评估。