[論文レビュー] Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions

Janosh Riebesell, Rhys E. A. Goodall+8 more|arXiv (Cornell University)|Aug 28, 2023

Machine Learning in Materials Science被引用数 29

ひとこと要約

Matbench Discoveryは高スループット発見ワークフローにおける結晶の熱力学安定性予測のMLモデルを評価し、普遍的な原子間ポテンシャル（UIP）が精度と発見の加速において先行し、伝統的な回帰指標より安定性分類に重きを置く。

ABSTRACT

The rapid adoption of machine learning (ML) in domain sciences necessitates best practices and standardized benchmarking for performance evaluation. We present Matbench Discovery, an evaluation framework for ML energy models, applied as pre-filters for high-throughput searches of stable inorganic crystals. This framework addresses the disconnect between thermodynamic stability and formation energy, as well as retrospective vs. prospective benchmarking in materials discovery. We release a Python package to support model submissions and maintain an online leaderboard, offering insights into performance trade-offs. To identify the best-performing ML methodologies for materials discovery, we benchmarked various approaches, including random forests, graph neural networks (GNNs), one-shot predictors, iterative Bayesian optimizers, and universal interatomic potentials (UIP). Our initial results rank models by test set F1 scores for thermodynamic stability prediction: EquiformerV2 + DeNS > Orb > SevenNet > MACE > CHGNet > M3GNet > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi fingerprint random forest. UIPs emerge as the top performers, achieving F1 scores of 0.57-0.82 and discovery acceleration factors (DAF) of up to 6x on the first 10k stable predictions compared to random selection. We also identify a misalignment between regression metrics and task-relevant classification metrics. Accurate regressors can yield high false-positive rates near the decision boundary at 0 eV/atom above the convex hull. Our results demonstrate UIPs' ability to optimize computational budget allocation for expanding materials databases. However, their limitations remain underexplored in traditional benchmarks. We advocate for task-based evaluation frameworks, as implemented here, to address these limitations and advance ML-guided materials discovery.

研究の動機と目的

• 高スループット発見におけるDFTのMLベース事前フィルターをシミュレートする。
• 未練化構造から安定性を予測し発見努力への影響を測定することによって、現実の発見課題に評価を合わせる。
• 標準化されたフレームワークの下で多様なML手法（UIP、GNN、一発予測、ベイズ最適化、指紋）を比較する。
• 回帰指標の限界を強調し、発見タスクに関連する分類指標を重視する。

提案手法

• テスト時入力が未練化構造で、ターゲットがMPデータからの凸 Hull距離である発見模倣ベンチマークを定義する。
• 訓練データとしてMaterials Project v2022.10.28を使用しテストセットとしてWBMを用いる; 未練化入力と緩和ベースのターゲットを許可して現実のワークフローを反映する。
• MACE、CHGNet、M3GNet、ALIGNN、MEGNet、CGCNN、CGCNN+P、Wrenformer、BOWSR、Voronoi RFのうち10モデルを安定性（分類）とエネルギー（回帰）指標で評価する。
• 主な安定性指標としてF1スコアを用い、DAF（発見加速因子）、TPR、TNR、MAE、RMSE、R^2を性能評価に併用する。
• 力と応力がUIPの役割を強調するため、緩和データで訓練されたUIPと力なしモデルを比較する。
• 提出と性能追跡を容易にするためのPythonパッケージとオンラインリーダーボードを提供する。

Figure 1 : CHGNet achieves the highest cumulative precision and recall during the initial phase of the discovery campaign simulated in this figure. After the first $\mathord{\sim}$ 25k most stable predictions, MACE overtakes CHGNet in both precision and recall and maintains the lead to the end of th

実験結果

リサーチクエスチョン

• RQ1 ML手法の中で材料発見のための精度と堅牢性の最適なバランスを生み出すのはどれか？
• RQ2 安定予測におけるタスク関連の分類性能と回帰指標の関係はどうなるか？
• RQ3 緩和データ（力/応力）を活用するUIPが発見効率に与える利点は？
• RQ4 WBMデータセットの異なる置換バッチなどの分布外テストでモデル性能はどのように変わるか？

主な発見

• UIP（MACE、CHGNet、M3GNet）は安定性分類で他のモデルを上回り、発見加速因子の大きな利点を示す。
• トップ3モデルは安定性分類で0.6までのF1スコアと初めの1万個の最も安定な予測でDAFを最大5倍達成。
• 力ありUIPは力なしモデルより分類で大きく上回るが、力なしモデルの中には回帰指標で一致するものもあるが発見有用性は遅れる。
• 回帰指標（R^2, RMSE）は発見の全体的な予測力を誤解させる可能性がある；安定性境界近くの正確なエネルギー予測でも多くの偽陽性/偽陰性を生む。
• CHGNetは早期キャンペーンの精度再現性を最高にし、MACEは全テストセットで後期の発見性能を牽引。
• 標準的な回帰スコアと実践的な発見指針との間には顕著な不一致があり、評価指標は分類性能と早期検出能力を重視すべき。

Figure 2 : Universal potentials are more reliable classifiers because they exit the red triangle earliest. These lines show the rolling MAE on the WBM test set as the energy to the convex hull of the MP training set is varied. Lower is better. Inside the large red ’triangle of peril’, models are mos