[논문 리뷰] MatSciML: A Broad, Multi-Task Benchmark for Solid-State Materials Modeling

Kin Long Kelvin Lee, Carmelo Gonzales외 4명|arXiv (Cornell University)|2023. 09. 12.

Machine Learning in Materials Science인용 수 6

한 줄 요약

MatSciML은 Materials Project, OQMD, OpenCatalyst 등 다양한 데이터셋을 사용하여 다중 작업 및 다중 데이터셋 학습을 가능하게 하는 새로운 오픈소스 벤치마크입니다. 그래프 신경망과 등변점구름 모델을 지원하며, 다양한 데이터셋 간의 공동 학습을 통해 에너지 및 힘 예측 성능을 향상시킵니다.

ABSTRACT

We propose MatSci ML, a novel benchmark for modeling MATerials SCIence using Machine Learning (MatSci ML) methods focused on solid-state materials with periodic crystal structures. Applying machine learning methods to solid-state materials is a nascent field with substantial fragmentation largely driven by the great variety of datasets used to develop machine learning models. This fragmentation makes comparing the performance and generalizability of different methods difficult, thereby hindering overall research progress in the field. Building on top of open-source datasets, including large-scale datasets like the OpenCatalyst, OQMD, NOMAD, the Carolina Materials Database, and Materials Project, the MatSci ML benchmark provides a diverse set of materials systems and properties data for model training and evaluation, including simulated energies, atomic forces, material bandgaps, as well as classification data for crystal symmetries via space groups. The diversity of properties in MatSci ML makes the implementation and evaluation of multi-task learning algorithms for solid-state materials possible, while the diversity of datasets facilitates the development of new, more generalized algorithms and methods across multiple datasets. In the multi-dataset learning setting, MatSci ML enables researchers to combine observations from multiple datasets to perform joint prediction of common properties, such as energy and forces. Using MatSci ML, we evaluate the performance of different graph neural networks and equivariant point cloud networks on several benchmark tasks spanning single task, multitask, and multi-data learning scenarios. Our open-source code is available at https://github.com/IntelLabs/matsciml.

연구 동기 및 목표

• 고체 상태 재료 기계학습 분야의 분열 문제를 해결하기 위해 다양한 데이터셋을 하나의 벤치마크로 통합합니다.
• 에너지, 힘, 공간군 대칭성과 같은 결정 물성에 대한 회귀 및 분류 작업을 위한 다중 작업 학습을 가능하게 합니다.
• Materials Project, OQMD, NOMAD, OpenCatalyst 등의 소스에서 유래한 이질적인 데이터를 통합하여 다중 데이터셋 학습을 지원합니다.
• 재료 탐색 및 설계를 위한 일반화 가능하고 효율적이며 정확한 기계학습 모델의 개발을 가속화합니다.

제안 방법

• Materials Project, OQMD, NOMAD, Carolina Materials Database, OpenCatalyst 등의 대규모 오픈소스 데이터셋을 통합합니다.
• 에너지, 힘, 밴드 갭, 공간군 분류와 같은 다수의 물성을 예측하기 위한 공유 표현을 활용한 다중 작업 학습을 지원합니다.
• 다양한 데이터셋 간의 특성과 레이블을 통일된 데이터 파이프라인으로 정렬하여 공동 모델 훈련을 가능하게 하는 다중 데이터셋 학습을 구현합니다.
• 성능 평가를 위해 그래프 신경망(E(n)-GNN)과 등변점구름 네트워크(MegNet)를 기준 모델로 사용합니다.
• 단일 작업 및 다중 작업 훈련을 모두 지원하며, 다양한 데이터셋에서 에너지 및 힘 예측에 대한 평가를 수행합니다.
• CDVAE를 사용한 재료 생성 파이프라인을 구현하였으며, 잠재 공간 모델링 및 구조 생성을 위해 DimeNet++과 GemNet-dT를 활용합니다.

Figure 1: Dataset split of Materials Project [ 25 ] that ensures crystal structure representation across training, validation and testing splits for randomly sampled materials from the full dataset. Left panel shows data counts, while the right shows fractional composition—each split comprises the s

실험 결과

연구 질문

• RQ1 에너지, 힘, 밴드 갭과 같은 다양한 물성에 대해 다중 작업 학습이 예측 성능을 향상시키는가?
• RQ2 다양한 이질적 데이터셋 간의 공동 학습이 에너지 및 힘 예측에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 S2EF, IS2RE, MP, LiPS 등의 다양한 데이터셋 간의 에너지 및 힘 레이블 간 상관관계는 어느 정도이며, 이는 다중 데이터셋 학습에 어떤 영향을 미치는가?
• RQ4 MatSciML에서 훈련된 생성 모델이 높은 재구성 정밀도를 갖는 유효하고 다양한 결정 구조를 생성할 수 있는가?
• RQ5 그래프 기반 및 점구름 기반 모델에서 다중 데이터셋 학습은 단일 데이터셋 학습 대비 어떤 성능 향상을 보이는가?

주요 결과

• S2EF 및 IS2RE 데이터셋을 통합한 다중 데이터셋 학습은 E(n)-GNN 및 MegNet 모델의 에너지 예측 성능을 향상시켰으며, 특히 두 데이터셋을 함께 사용할 경우 유의미한 성능 향상이 관찰되었습니다.
• 모든 모델에서 다중 데이터셋 설정에서 힘 예측 성능이 일관되게 향상되어, 서로 다른 작업 간 강한 상관관계가 있음을 시사합니다.
• S2EF 데이터셋의 에너지 예측 성능은 다중 데이터 학습에서 단일 데이터셋 기준 모델을 초월했으며, 특히 IS2RE 및 MP 데이터셋과 조합할 경우 더욱 높은 성능을 기록했습니다.
• LiPS 데이터셋은 MegNet 모델에 대해 비교적 안정적인 성능을 보였지만, E(n)-GNN 모델의 경우 다중 데이터 학습 설정에서 성능 저하가 발생하여 다른 데이터셋과의 상관관계가 낮음을 시사합니다.
• CDVAE 기반 생성 모델은 mp25 서브셋에서 유효성 99.74% 및 커버리지 89.01%를 달성하여 최신 기술 수준의 성능을 확보했습니다.
• MP 데이터셋의 에너지 예측 성능은 S2EF 및 IS2RE 데이터셋과 조합함으로써 향상되었으며, 이는 더 크고 다양한 데이터셋이 일반화 능력을 향상시킨다는 점을 시사합니다.