[論文レビュー] MatSciML: A Broad, Multi-Task Benchmark for Solid-State Materials Modeling

Kin Long Kelvin Lee, Carmelo Gonzales+4 more|arXiv (Cornell University)|Sep 12, 2023

Machine Learning in Materials Science被引用数 6

ひとこと要約

MatSciML は、Materials Project、OQMD、OpenCatalyst などの多様なデータセットを用いて、マルチタスクおよびマルチデータセット学習を可能にする、固体材料モデリングのための新規でオープンソースのベンチマークである。グラフニューラルネットワークおよび等長性を保つポイントクラウドモデルをサポートし、異なるデータセット間での共同学習により、エネルギーおよび力の予測性能が向上することを示している。

ABSTRACT

We propose MatSci ML, a novel benchmark for modeling MATerials SCIence using Machine Learning (MatSci ML) methods focused on solid-state materials with periodic crystal structures. Applying machine learning methods to solid-state materials is a nascent field with substantial fragmentation largely driven by the great variety of datasets used to develop machine learning models. This fragmentation makes comparing the performance and generalizability of different methods difficult, thereby hindering overall research progress in the field. Building on top of open-source datasets, including large-scale datasets like the OpenCatalyst, OQMD, NOMAD, the Carolina Materials Database, and Materials Project, the MatSci ML benchmark provides a diverse set of materials systems and properties data for model training and evaluation, including simulated energies, atomic forces, material bandgaps, as well as classification data for crystal symmetries via space groups. The diversity of properties in MatSci ML makes the implementation and evaluation of multi-task learning algorithms for solid-state materials possible, while the diversity of datasets facilitates the development of new, more generalized algorithms and methods across multiple datasets. In the multi-dataset learning setting, MatSci ML enables researchers to combine observations from multiple datasets to perform joint prediction of common properties, such as energy and forces. Using MatSci ML, we evaluate the performance of different graph neural networks and equivariant point cloud networks on several benchmark tasks spanning single task, multitask, and multi-data learning scenarios. Our open-source code is available at https://github.com/IntelLabs/matsciml.

研究の動機と目的

• 固体材料機械学習におけるデータの断片化を是正し、多様なデータセットを統一されたベンチマークに統合すること。
• エネルギー、力、空間群対称性などの結晶物性に関する回帰および分類タスクにおけるマルチタスク学習を可能にすること。
• Materials Project、OQMD、NOMAD、OpenCatalyst などのソースからの異種データを統合することで、マルチデータセット学習を支援すること。
• 材料探索および設計のための汎用的で効率的かつ高精度な機械学習モデルの開発を加速すること。

提案手法

• Materials Project、OQMD、NOMAD、Carolina Materials Database、OpenCatalyst などの大規模なオープンソースデータセットを統合したベンチマーク。
• エネルギー、力、バンドギャップ、空間群分類など、複数の物性を予測するための共有表現を用いたマルチタスク学習をサポート。
• 異なるデータセット間の特徴およびラベルを統一したデータパイプラインにより、マルチデータセット学習を実現。これにより、統合的なモデル学習が可能となる。
• 性能評価のためのベースラインモデルとして、グラフニューラルネットワーク（E(n)-GNN）および等長性を保つポイントクラウドネットワーク（MegNet）を採用。
• 単一タスクおよびマルチタスク学習の両方をサポートし、複数のデータセットにおけるエネルギーおよび力の予測を評価。
• 潜在空間モデリングおよび構造生成のため、CDVAE に DimeNet++ および GemNet-dT を用いた材料生成パイプラインを実装。

Figure 1: Dataset split of Materials Project [ 25 ] that ensures crystal structure representation across training, validation and testing splits for randomly sampled materials from the full dataset. Left panel shows data counts, while the right shows fractional composition—each split comprises the s

実験結果

リサーチクエスチョン

• RQ1 エネルギー、力、バンドギャップなどの多様な物性において、マルチタスク学習が固体材料の予測性能を向上させるか？
• RQ2 異種の複数データセット間での共同学習が、エネルギーおよび力の予測におけるモデルの一般化性能および性能に与える影響は？
• RQ3 S2EF、IS2RE、MP、LiPS などの異なるデータセット間で、エネルギーおよび力のラベルがどの程度相関しているか、そしてそれがマルチデータセット学習に与える影響は？
• RQ4 MatSciML で学習した生成モデルは、妥当性が高く多様性に富み、再構成精度の高い結晶構造を生成できるか？
• RQ5 グラフベースおよびポイントクラウドベースのモデルにおいて、マルチデータセット学習は単一データセット学習に比べてどの程度性能向上をもたらすか？

主な発見

• S2EF および IS2RE を用いたマルチデータセット学習により、E(n)-GNN および MegNet モデルのエネルギー予測性能が向上した。
• 全モデルにおいて、マルチデータセット設定下で力の予測性能が一貫して向上し、タスク間の強い相関が示唆された。
• S2EF のエネルギー予測は、マルチデータ学習において単一データセットベースラインを上回った。特に IS2RE および MP と組み合わせた場合に顕著な向上が見られた。
• LiPS データセットは MegNet に対して相対的に安定した性能を示したが、E(n)-GNN ではマルチデータ設定下で性能が低下し、他のデータセットと相関が低いことが示唆された。
• CDVAE を用いた生成モデルは、mp25 サブセットで 99.74% の妥当性および 89.01% のカバレッジを達成し、最先端の性能を再現した。
• MP のエネルギー予測は、S2EF および IS2RE と組み合わせることで向上し、より大規模で多様なデータセットが一般化性能を向上させることを示した。