[论文解读] MatSciML: A Broad, Multi-Task Benchmark for Solid-State Materials Modeling

Kin Long Kelvin Lee, Carmelo Gonzales+4 more|arXiv (Cornell University)|Sep 12, 2023

Machine Learning in Materials Science被引用 6

一句话总结

MatSciML 是一个新颖的开源固体材料建模基准，支持使用 Materials Project、OQMD 和 OpenCatalyst 等多样化数据集进行多任务和多数据集学习。它支持图神经网络和等变点云模型，在跨数据集联合训练中实现了能量和力预测性能的提升。

ABSTRACT

We propose MatSci ML, a novel benchmark for modeling MATerials SCIence using Machine Learning (MatSci ML) methods focused on solid-state materials with periodic crystal structures. Applying machine learning methods to solid-state materials is a nascent field with substantial fragmentation largely driven by the great variety of datasets used to develop machine learning models. This fragmentation makes comparing the performance and generalizability of different methods difficult, thereby hindering overall research progress in the field. Building on top of open-source datasets, including large-scale datasets like the OpenCatalyst, OQMD, NOMAD, the Carolina Materials Database, and Materials Project, the MatSci ML benchmark provides a diverse set of materials systems and properties data for model training and evaluation, including simulated energies, atomic forces, material bandgaps, as well as classification data for crystal symmetries via space groups. The diversity of properties in MatSci ML makes the implementation and evaluation of multi-task learning algorithms for solid-state materials possible, while the diversity of datasets facilitates the development of new, more generalized algorithms and methods across multiple datasets. In the multi-dataset learning setting, MatSci ML enables researchers to combine observations from multiple datasets to perform joint prediction of common properties, such as energy and forces. Using MatSci ML, we evaluate the performance of different graph neural networks and equivariant point cloud networks on several benchmark tasks spanning single task, multitask, and multi-data learning scenarios. Our open-source code is available at https://github.com/IntelLabs/matsciml.

研究动机与目标

• 为解决固体材料机器学习中的碎片化问题，通过将多样化数据集统一整合为单一基准。
• 支持对晶体性质（如能量、力和空间群对称性）的回归与分类任务的多任务学习。
• 通过整合 Materials Project、OQMD、NOMAD 和 OpenCatalyst 等来源的异构数据，支持多数据集学习。
• 加速开发可泛化、高效且精确的机器学习模型，以推动材料发现与设计。

提出的方法

• 该基准整合了大规模开源数据集，包括 Materials Project、OQMD、NOMAD、Carolina Materials Database 和 OpenCatalyst。
• 支持通过共享表示进行多任务学习，以预测能量、力、带隙和空间群分类等多种性质。
• 通过统一的数据处理管道实现多数据集学习，对异构数据集之间的特征和标签进行对齐，以支持联合模型训练。
• 采用图神经网络（E(n)-GNN）和等变点云网络（MegNet）作为基线模型，以评估性能。
• 该框架支持单任务和多任务训练，并在多个数据集上对能量和力预测进行评估。
• 采用基于 CDVAE 的材料生成流程，结合 DimeNet++ 和 GemNet-dT 实现潜在空间建模与结构生成。

Figure 1: Dataset split of Materials Project [ 25 ] that ensures crystal structure representation across training, validation and testing splits for randomly sampled materials from the full dataset. Left panel shows data counts, while the right shows fractional composition—each split comprises the s

实验结果

研究问题

• RQ1 多任务学习是否能提升对能量、力和带隙等多样化固体材料性质的预测性能？
• RQ2 在多个异构数据集上联合训练如何影响模型在能量和力预测中的泛化能力和性能？
• RQ3 不同数据集（如 S2EF、IS2RE、MP、LiPS）在能量和力标签上相关性如何？这种相关性如何影响多数据集学习？
• RQ4 在 MatSciML 上训练的生成模型能否生成有效且多样的晶体结构，并实现高重建保真度？
• RQ5 与单数据集训练相比，多数据集学习在基于图和点云的模型上带来了多大性能提升？

主要发现

• 多数据集学习显著提升了 E(n)-GNN 和 MegNet 模型的能量预测性能，其中 S2EF 和 IS2RE 表现尤为突出。
• 所有模型在多数据集设置下的力预测性能均持续提升，表明任务间存在强相关性。
• S2EF 的能量预测在多数据联合学习中优于单数据集基线，尤其在与 IS2RE 和 MP 结合时表现更佳。
• LiPS 数据集在 MegNet 上表现相对稳定，但在 E(n)-GNN 的多数据设置下性能下降，表明其与其他数据集相关性较低。
• 基于 CDVAE 的生成模型在 mp25 子集上实现了 99.74% 的有效性与 89.01% 的覆盖度，达到当前最先进水平。
• 当与 S2EF 和 IS2RE 结合时，MP 的能量预测性能得到提升，表明更大、更丰富的数据集有助于增强泛化能力。