[논문 리뷰] Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions

Janosh Riebesell, Rhys E. A. Goodall외 8명|arXiv (Cornell University)|2023. 08. 28.

Machine Learning in Materials Science인용 수 29

한 줄 요약

Matbench Discovery는 고속 탐색 워크플로우에서 결정의 열역학적 안정성을 예측하기 위한 ML 모델을 평가하며, 정확도와 탐색 가속도에서 보편적 원자간 포텐셜(UIP)이 우수하다고 밝혔고, 전통적 회귀 지표보다 안정성 분류에 중점을 둡니다.

ABSTRACT

The rapid adoption of machine learning (ML) in domain sciences necessitates best practices and standardized benchmarking for performance evaluation. We present Matbench Discovery, an evaluation framework for ML energy models, applied as pre-filters for high-throughput searches of stable inorganic crystals. This framework addresses the disconnect between thermodynamic stability and formation energy, as well as retrospective vs. prospective benchmarking in materials discovery. We release a Python package to support model submissions and maintain an online leaderboard, offering insights into performance trade-offs. To identify the best-performing ML methodologies for materials discovery, we benchmarked various approaches, including random forests, graph neural networks (GNNs), one-shot predictors, iterative Bayesian optimizers, and universal interatomic potentials (UIP). Our initial results rank models by test set F1 scores for thermodynamic stability prediction: EquiformerV2 + DeNS > Orb > SevenNet > MACE > CHGNet > M3GNet > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi fingerprint random forest. UIPs emerge as the top performers, achieving F1 scores of 0.57-0.82 and discovery acceleration factors (DAF) of up to 6x on the first 10k stable predictions compared to random selection. We also identify a misalignment between regression metrics and task-relevant classification metrics. Accurate regressors can yield high false-positive rates near the decision boundary at 0 eV/atom above the convex hull. Our results demonstrate UIPs' ability to optimize computational budget allocation for expanding materials databases. However, their limitations remain underexplored in traditional benchmarks. We advocate for task-based evaluation frameworks, as implemented here, to address these limitations and advance ML-guided materials discovery.

연구 동기 및 목표

• 고속 탐색에서 안정한 무기 결정의 예측에 대해 ML 기반 사전 필터를 DFT에 시뮬레이션한다.
• 비완화된 구조에서 안정성을 예측하고 발견 노력을 측정하여 실제 발견 과제에 평가를 맞춘다.
• 표준화된 프레임워크 하에서 다양한 ML 방법론(UIP, GNN, 원샷 예측기, 베이지안 옵티마이저, 지문/피처)을 비교한다.
• 발견 작업에서 회귀 지표의 한계를 강조하고 작업 관련 분류 지표를 강조한다.

제안 방법

• 테스트 시 입력이 비완화된 구조이고 목표가 MP 데이터의 볼록 껍질 거리인 발견-모방 벤치마크를 정의한다.
• 훈련 데이터로 Materials Project v2022.10.28를 사용하고 테스트 세트로 WBM을 사용하며; 실제 워크플로를 반영하기 위해 비완화 입력과 Relaxation 기반 타깃을 허용한다.
• MACE, CHGNet, M3GNet, ALIGNN, MEGNet, CGCNN, CGCNN+P, Wrenformer, BOWSR, 그리고 Voronoi RF를 포함한 10개 모델을 안정성(분류) 및 에너지(회귀) 지표로 평가한다.
• 안정성의 기본 지표로 F1-스코어를 사용하고, 발견 가속 계수(DAF), TPR, TNR, MAE, RMSE, R^2도 성능 평가에 포함한다.
• Relaxation 데이터(힘/스트레스)로 훈련된 UIP 대비 힘-제거 모델의 역할을 비교하여 힘이 없는 모델의 성능을 강조한다.
• 제출 및 성능 추적을 돕기 위한 Python 패키지와 온라인 리더보드를 제공한다.

Figure 1 : CHGNet achieves the highest cumulative precision and recall during the initial phase of the discovery campaign simulated in this figure. After the first $\mathord{\sim}$ 25k most stable predictions, MACE overtakes CHGNet in both precision and recall and maintains the lead to the end of th

실험 결과

연구 질문

• RQ1 어떤 ML 방법론이 ML-가이드 재료 발견에서 정확성과 견고성의 최적 균형을 제공하는가?
• RQ2 안정성 예측에서 회귀 지표가 작업 관련 분류 성능과 어떻게 관련되는가?
• RQ3 힘/스트레스를 활용하는 Relaxation 데이터를 이용한 UIP의 발견 효율성 향상 이점은 무엇인가?
• RQ4 WBM 데이터셋의 서로 다른 치환 배치와 같은 분포 외 테스트에서 모델 성능은 어떻게 달라지는가?

주요 결과

• UIP들(MACE, CHGNet, M3GNet)은 안정성 분류에서 다른 모델들보다 우수하며 발견 가속 계수에서 큰 이점을 보인다.
• 상위 세 모델은 안정성 분류에서 최대 0.6의 F1 점수와 최초 1만 개의 가장 안정적인 예측에서 DAF가 최대 5배에 달한다.
• 힘이 가능한 UIP는 힘이 없는 모델에 비해 분류에서 상당히 우수하며, 일부 힘-없는 모델은 회귀 지표에 일치하더라도 발견 유틸리티는 뒤처질 수 있다.
• 회귀 지표(R^2, RMSE)는 발견을 위한 전역 예측력에 대해 오도할 수 있으며 안정성 경계 근처의 정확한 에너지 예측도 여전히 다수의 위양/ 위음으로 이어질 수 있다.
• CHGNet은 초기 캠페인에서 최상의 정밀도/재현율을 제공하고, MACE는 전체 테스트 세트에서 후기 발견 성능을 주도한다.
• 표준 회귀 점수와 실제 발견 지침 간에 현저한 괴리가 있으며, 지표는 분류 성능과 조기 감지 능력을 강조해야 한다.

Figure 2 : Universal potentials are more reliable classifiers because they exit the red triangle earliest. These lines show the rolling MAE on the WBM test set as the energy to the convex hull of the MP training set is varied. Lower is better. Inside the large red ’triangle of peril’, models are mos