[論文レビュー] Open Materials 2024 (OMat24) Inorganic Materials Dataset and Models

Luis Barroso-Luque, Muhammed Shuaibi+7 more|arXiv (Cornell University)|Oct 16, 2024

Machine Learning in Materials Science被引用数 79

ひとこと要約

著者らは Open Materials 2024 (OMat24) の大規模オープン DFT データセットと pre-trained EquiformerV2 モデルを公開し、OMat24 での事前学習と関連データセットでのファインチューニング後、MatBench Discovery において最先端の性能を示しています。

ABSTRACT

The ability to discover new materials with desirable properties is critical for numerous applications from helping mitigate climate change to advances in next generation computing hardware. AI has the potential to accelerate materials discovery and design by more effectively exploring the chemical space compared to other computational methods or by trial-and-error. While substantial progress has been made on AI for materials data, benchmarks, and models, a barrier that has emerged is the lack of publicly available training data and open pre-trained models. To address this, we present a Meta FAIR release of the Open Materials 2024 (OMat24) large-scale open dataset and an accompanying set of pre-trained models. OMat24 contains over 110 million density functional theory (DFT) calculations focused on structural and compositional diversity. Our EquiformerV2 models achieve state-of-the-art performance on the Matbench Discovery leaderboard and are capable of predicting ground-state stability and formation energies to an F1 score above 0.9 and an accuracy of 20 meV/atom, respectively. We explore the impact of model size, auxiliary denoising objectives, and fine-tuning on performance across a range of datasets including OMat24, MPtraj, and Alexandria. The open release of the OMat24 dataset and models enables the research community to build upon our efforts and drive further advancements in AI-assisted materials science.

研究の動機と目的

• オープンで大規模なオープンデータとモデルを促進し、AI 主導の無機材料探索を加速する。
• diverse non-equilibrium configurations を含む Publicly accessible 118M-structure DFT データセットを提供する。
• OpenMat24 で事前学習した EquiformerV2 モデルを訓練・公開し、MatBench Discovery で評価する。
• OMat24 の事前学習と MPtrj および Alexandria サブセットでのファインチューニングを通じた転移学習を評価する。
• オープンなコード、データ、チェックポイントを通じた再現性とコミュニティ主導の改善を促進する。

提案手法

• 無機バルク材料の約 118 百万個の単一点 DFT、緩和、MD 情報を含む大規模オープンデータセット (OMat24) を構築する。
• Alexandria の緩和構造から始まる Boltzmann-rattling、AIMD、rattled relaxations の 3 つの構造生成戦略を用いる。
• 複数モデルサイズ（S、M、L）で OMat24 上に EquiformerV2 グラフニューラルネットワークを事前訓練し、オプションで DeNS denoising augment 通常を追加する。
• 事前訓練済みモデルを MPtrj および/または sAlexandria でファインチューニングして MatBench Discovery の指標を最適化する。
• MatBench Discovery のベンチマークを用いて基底状態の安定性とエネルギー以上の hull に焦点を当て、F1、MAE などの関連指標を報告する。
• 訓練データ (CC 4.0)、コード、およびモデルウェイトを寛容なライセンスで公開する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なオープン DFT データセット (OMat24) での事前学習は、下流の材料探索の性能にどのような影響を与えるか？
• RQ2 EquiformerV2 の性能に対するモデルサイズとデノイズ augmentation の影響は無機材料においてどうなるか？
• RQ3 OMat24 および OC20 データセットからの転移学習は、MPtrj および Alexandria でのファインチューニング後に MatBench Discovery の結果を改善できるか？
• RQ4 開発されたモデルは、MPtrj のみでの適合モデルと、複数データセットを含む非適合モデルのベンチマークでどのように性能が異なるか？
• RQ5 OMat24 を他の DFT データセット (例：MP、WBM) と組み合わせて訓練する際の制限と考慮事項は何か？

主な発見

• OMat24 での事前学習は substantial gains を生み出し、非適合モデルの MatBench Discovery でエネルギー MAE が 20 meV/atom に達した。
• 非適合モデルが OMat24 で事前訓練され、MPtrj および sAlexandria でファインチューニングされた場合、MatBench Discovery の F1 スコアは 0.916 に達する。
• 適合モデルはのみ MPtrj で訓練されると DeNS 付きで F1 が最大 0.823 に達し、最小のモデルは非常に効果的で F1 は 0.823。
• EquiformerV2 モデルは OMat24 のみで訓練されると validation/test 分割でエネルギー MAE が約 9–11 meV/atom、全体の WBM-test 結果は多様性のために一般に劣る。
• Denosing (DeNS) は小規模の、MPtrj のみのデータセットで性能を向上させるが、大規模で多様な OMat24 データセットでの訓練時には影響が小さい。OC20 からの転移も、ファインチューニング後には強力な結果を生む。