[논문 리뷰] Multimodal Foundation Models for Material Property Prediction and Discovery

Viggo Moro, Charlotte Loh외 8명|arXiv (Cornell University)|2023. 11. 30.

Grouting, Rheology, and Soil Mechanics인용 수 6

한 줄 요약

이 논문은 대비학적 학습을 통해 결정 구조, 밀도 상태(DOS), 전하 밀도를 공통 잠재 공간에 정렬하는 기초 모델인 다중모odal 재료를 위한 학습(Multimodal Learning for Crystalline Materials, MLCM)을 소개한다. MLCM는 Materials Project 데이터셋에서 최신 기술 성능을 달성하며, 목표로 하는 DOS를 만족하는 재료를 검색함으로써 정확한 역설계를 가능하게 하고, 잠재 공간 분석을 통해 해석 가능한 특징을 드러내어 다중모달 사전학습의 재료 발견 잠재력을 입증한다.

ABSTRACT

Artificial intelligence is transforming computational materials science, improving the prediction of material properties, and accelerating the discovery of novel materials. Recently, publicly available material data repositories have grown rapidly. This growth encompasses not only more materials but also a greater variety and quantity of their associated properties. Existing machine learning efforts in materials science focus primarily on single-modality tasks, i.e. relationships between materials and a single physical property, thus not taking advantage of the rich and multimodal set of material properties. Here, we introduce Multimodal Learning for Materials (MultiMat), which enables self-supervised multi-modality training of foundation models for materials. We demonstrate our framework's potential using data from the Materials Project database on multiple axes: (i) MultiMat achieves state-of-the-art performance for challenging material property prediction tasks; (ii) MultiMat enables novel and accurate material discovery via latent space similarity, enabling screening for stable materials with desired properties; and (iii) MultiMat encodes interpretable emergent features that may provide novel scientific insights.

연구 동기 및 목표

• 결정 구조, 밀도 상태(DOS), 전하 밀도와 같은 다수의 재료 모odal을 통합하여 통합된 표현을 만들어 재료 성능 예측을 향상시키는 기초 모델을 개발하는 것.
• 신규 신경망 아키텍처에서의 성능 향상 정체를 극복하기 위해 새로운 다중모달 사전학습 철학을 도입하는 것.
• 사용자가 지정한 목표 DOS와 일치하는 예측 성능을 가진 재료를 검색함으로써 역설계를 가능하게 하는 것.
• 학습된 잠재 공간에서 물리적으로 의미 있는 해석 가능한 특징을 추출하여 재료 과학 분야의 과학적 통찰을 지원하는 것.

제안 방법

• MLCM는 결정 구조에 대해 PotNet 기반 아키텍처, DOS에 대해 트랜스포머, 전하 밀도에 대해 3D ResNeXt를 사용하며, 각각 128차원 임bedding을 생성한다.
• 모델은 동일한 재료에 해당하는 서로 다른 모달의 임베딩을 공통 잠재 공간에 정렬하기 위해 대비학습과 대비 손실 함수를 사용한다.
• 사전학습은 다중 모달 간 최대 교차 부분집합을 사용하여 Materials Project 데이터셋에서 수행되며, 이중 및 삼중 모달 설정에 대해 각각 121,915개, 89,071개, 78,461개의 재료를 사용한다.
• 성능 예측 작업을 위해 전이된 결정 구조 인코더에 선형 헤드를 미세조정하며, 검증 손실 기반 조기 정지 기법을 적용한다.
• 역설계를 위해 목표 DOS가 임베딩되고, 잠재 공간 내에서 가장 가까운 결정 구조 임베딩이 최적 후보 재료로 검색된다.
• 해석 가능성은 잠재 임베딩의 UMAP 차원 감소를 통해 탐색되며, 더 명확한 시각화를 위해 이질적 재료는 제거된다.

실험 결과

연구 질문

• RQ1 결정 구조, DOS, 전하 밀도를 공통 잠재 공간에 다중모달 정렬하면 재료 성능 예측의 일반화 및 성능 향상에 기여할 수 있는가?
• RQ2 MLCM는 사용자가 지정한 목표 DOS와 일치하는 예측 DOS를 가진 재료를 검색함으로써 정확한 역설계를 가능하게 할 수 있는가?
• RQ3 MLCM의 잠재 공간에서 학습된 표현은 형성 에너지나 패피 수준과 같은 재료 성질과 관련된 해석 가능한 물리적 의미를 지닌 특징을 포함하는가?
• RQ4 다양한 데이터 모달을 사용한 다중모달 사전학습은 단일 모달 사전학습에 비해 후행 예측 정확도와 일반화 능력 측면에서 어떻게 비교되는가?

주요 결과

• MLCM는 재료 성능 예측에서 Materials Project 데이터셋에서 최신 기술 성능을 달성하며, 회귀 및 분류 작업 모두에서 이전 방법들을 능가한다.
• 모델은 매우 정확한 역설계를 가능하게 한다: 특정 DOS 프로파일을 목표로 할 경우, 검색된 재료의 예측 DOS가 목표와 매우 유사하며, -5에서 +5 eV 범위에서 정규화된 MAE가 0.027로 매우 낮다.
• UMAP를 활용한 잠재 공간 분석은 임베딩이 형성 에너지나 패피 수준과 같은 의미 있는 물리적 성질을 포함하고 있음을 드러내며, 유사한 성질을 가진 재료들이 뚜렷한 군집을 이룬다.
• 더 정확한 밴드 갭 값이 포함된 SNUMAT 데이터베이스에서의 미세조정은 MLCM의 사전학습된 표현이 잘 일반화됨을 보여주며, 다중모달 기반 베이스라인보다 성능 향상을 이룬다.
• 모델의 성능은 다양한 모달에 대해 뛰어나며, 결정 구조, DOS, 전하 밀도를 모두 포함한 삼중 모달 사전학습이 가장 우수한 결과를 내어 다중모달 정렬의 이점을 확인한다.
• 다양한 모달을 사용한 대비학습은 표현 품질을 크게 향상시키며, 이는 제로샷 전이 성능 향상과 다양한 재료 성질에 대한 예측 오차 감소를 통해 입증된다.