[论文解读] Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions

Janosh Riebesell, Rhys E. A. Goodall+8 more|arXiv (Cornell University)|Aug 28, 2023

Machine Learning in Materials Science被引用 29

一句话总结

Matbench Discovery 评估用于高通量发现流程中预测晶体热力学稳定性的 ML 模型，发现通用原子间势（UIP）在准确性和发现加速方面领先，强调稳定性分类而非传统回归指标。

ABSTRACT

The rapid adoption of machine learning (ML) in domain sciences necessitates best practices and standardized benchmarking for performance evaluation. We present Matbench Discovery, an evaluation framework for ML energy models, applied as pre-filters for high-throughput searches of stable inorganic crystals. This framework addresses the disconnect between thermodynamic stability and formation energy, as well as retrospective vs. prospective benchmarking in materials discovery. We release a Python package to support model submissions and maintain an online leaderboard, offering insights into performance trade-offs. To identify the best-performing ML methodologies for materials discovery, we benchmarked various approaches, including random forests, graph neural networks (GNNs), one-shot predictors, iterative Bayesian optimizers, and universal interatomic potentials (UIP). Our initial results rank models by test set F1 scores for thermodynamic stability prediction: EquiformerV2 + DeNS > Orb > SevenNet > MACE > CHGNet > M3GNet > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi fingerprint random forest. UIPs emerge as the top performers, achieving F1 scores of 0.57-0.82 and discovery acceleration factors (DAF) of up to 6x on the first 10k stable predictions compared to random selection. We also identify a misalignment between regression metrics and task-relevant classification metrics. Accurate regressors can yield high false-positive rates near the decision boundary at 0 eV/atom above the convex hull. Our results demonstrate UIPs' ability to optimize computational budget allocation for expanding materials databases. However, their limitations remain underexplored in traditional benchmarks. We advocate for task-based evaluation frameworks, as implemented here, to address these limitations and advance ML-guided materials discovery.

研究动机与目标

• 在高通量发现稳定无机晶体的过程中，模拟基于机器学习的DFT预筛选器。
• 通过从未放松结构预测稳定性并衡量对发现工作量的影响，使评估与现实世界的发现挑战保持一致。
• 在标准化框架下比较多种 ML 方法（UIP、GNN、一次性预测、贝叶斯优化器和指纹）。
• 强调回归指标在发现任务中的局限性，并强调与任务相关的分类指标。

提出的方法

• 定义一个模拟发现的基准，在测试时输入为未放松结构，目标来自 MP 数据的凸包距离。
• 以 Materials Project v2022.10.28 作为训练数据，WBM 作为测试集；允许未放松输入和基于放松的目标以反映真实工作流。
• 在稳定性（分类）和能量（回归）指标上评估 10 模型，包括 MACE、CHGNet、M3GNet、ALIGNN、MEGNet、CGCNN、CGCNN+P、Wrenformer、BOWSR 和 Voronoi RF。
• 以 F1-score 作为主要稳定性指标，同时使用 DAF（发现加速因子）、TPR、TNR、MAE、RMSE 和 R^2 来评估性能。
• 通过将无力/无应力模型与在放松数据上训练的 UIP 进行比较，突出力和应力在 UIPs 中的作用。
• 提供一个 Python 包和在线排行榜，以便提交和性能跟踪。

Figure 1 : CHGNet achieves the highest cumulative precision and recall during the initial phase of the discovery campaign simulated in this figure. After the first $\mathord{\sim}$ 25k most stable predictions, MACE overtakes CHGNet in both precision and recall and maintains the lead to the end of th

实验结果

研究问题

• RQ1 哪种 ML 方法在 ML 指导材料发现中能在准确性和鲁棒性之间取得最佳平衡？
• RQ2 回归指标与稳定性预测中任务相关的分类性能之间的关系如何？
• RQ3 利用放松数据（力/应力）的 UIP 在发现效率方面有哪些好处？
• RQ4 模型在分布外测试中的表现如何变化，例如 WBM 数据集中不同替代批次？

主要发现

• UIP（MACE、CHGNet、M3GNet）在稳定性分类方面优于其他模型，并在发现加速因子上显示出显著优势。
• 前三个模型在稳定性分类上 F1 分数最高可达 0.6，对前1万最稳定预测的 DAF 高达 5 倍。
• 具备力信息的 UIP 在分类方面显著胜过无力模型，尽管某些无力模型在回归指标上可能接近，但在发现效用方面落后。
• 回归指标（R^2、RMSE）可能误导对全局预测能力的判断；在稳定性边界附近的准确能量预测仍可能产生大量假阳性/假阴性。
• CHGNet 在早期阶段的精确度/召回率最好，而 MACE 在完整测试集中后期发现性能领先。
• 标准回归分数与实际发现指导之间存在显著脱节；指标应强调分类性能和早期检测能力。

Figure 2 : Universal potentials are more reliable classifiers because they exit the red triangle earliest. These lines show the rolling MAE on the WBM test set as the energy to the convex hull of the MP training set is varied. Lower is better. Inside the large red ’triangle of peril’, models are mos