[논문 리뷰] CrysMMNet: Multimodal Representation for Crystal Property Prediction

Kishalay Das, Pawan Goyal외 3명|arXiv (Cornell University)|2023. 06. 09.

Machine Learning in Materials Science인용 수 9

한 줄 요약

CrysMMNet은 결정 그래프 구조와 텍스트 물질 설명을 결합하여 결정 특성 예측을 위한 공동 다중모달 표현을 생성하고, 두 벤치마크에서 최첨단 기준선보다 성능이 우수합니다.

ABSTRACT

Machine Learning models have emerged as a powerful tool for fast and accurate prediction of different crystalline properties. Exiting state-of-the-art models rely on a single modality of crystal data i.e. crystal graph structure, where they construct multi-graph by establishing edges between nearby atoms in 3D space and apply GNN to learn materials representation. Thereby, they encode local chemical semantics around the atoms successfully but fail to capture important global periodic structural information like space group number, crystal symmetry, rotational information, etc, which influence different crystal properties. In this work, we leverage textual descriptions of materials to model global structural information into graph structure and learn a more robust and enriched representation of crystalline materials. To this effect, we first curate a textual dataset for crystalline material databases containing descriptions of each material. Further, we propose CrysMMNet, a simple multi-modal framework, which fuses both structural and textual representation together to generate a joint multimodal representation of crystalline materials. We conduct extensive experiments on two benchmark datasets across ten different properties to show that CrysMMNet outperforms existing state-of-the-art baseline methods with a good margin. We also observe that fusing the textual representation with crystal graph structure provides consistent improvement for all the SOTA GNN models compared to their own vanilla versions. We have shared the textual dataset, that we have curated for both the benchmark material databases, with the community for future use.

연구 동기 및 목표

• 그래프 기반 모델만으로는 놓치는 글로벌 주기 정보를 도입하여 결정 특성 예측을 개선하려는 동기를 부여한다.
• 그래프 기반의 국부 구조와 텍스트 기반의 글로벌 구조 지식을 융합하는 다중모달 프레임워크를 제안한다.
• Robocrystallographer를 사용하여 공간군, 대칭성 및 차원을 포착하는 결정 물질의 텍스트 데이터세트를 큐레이션한다.
• 다양한 특성에 걸친 대규모 결정 데이터셋에서 CrysMMNet를 평가하고 모달리티 기여를 이해하기 위한 절삭 분석을 수행한다.

제안 방법

• 결정체를 GNN(그래프 인코더)을 통해 국부 화학적/구조적 정보를 인코딩하는 그래프로 표현한다.
• 재료 설명으로부터 글로벌 주기 정보를 트랜스포머 기반 텍스트 인코더(MatSciBERT)와 투사 층으로 인코딩한다.
• 그래프 임베딩과 텍스트 임베딩을 연결(concatenation)하여 공동 다중모달 표현을 형성한다.
• 다중모달 임베딩에서 엔드투엔드 MLP를 학습하여 결정 특성을 예측하고 손실은 MSE를 사용한다.
• MP와 JARVIS 데이터셋에 대한 텍스트 설명을 Robocrystallographer를 사용해 큐레이션하여 국부적 정보와 글로벌 정보를 포착한다.

실험 결과

연구 질문

• RQ1 결정 물질의 텍스트 설명이 그래프 기반 표현과 결합될 때 전역 주기적 구조 정보를 제공하여 특성 예측을 향상시킬 수 있는가?
• RQ2 다양한 결정 특성과 데이터셋에서 다중모달 융합이 단일 모달 모델보다 일관되게 우수한가?
• RQ3 텍스트 모달리티는 국부 조성 정보에 비해 어떤 기여를 하며, 서로 다른 GNN 아키텍처에 대해 접근 방식의 강건성은 어떤가?
• RQ4 제한된 학습 데이터가 다중모달 결정 특성 예측에 미치는 영향은 무엇인가?

주요 결과

• CrysMMNet은 JARVIS-DFT 및 Materials Project 데이터셋에서 속성별로 최첨단 기반 모델을 능가한다.
• 다중모달 융합이 다양한 GNN 백본에 대해 기존 버전 대비 일관된 향상을 제공한다.
• 텍스트 표현만으로는 그래프 기반 모델을 대체하기에 충분하지 않지만, 융합될 때 성능을 향상시키는 글로벌 구조 정보를 기여한다.
• 저데이터 구간에서도 CrysMMNet은 강력한 성능을 유지하며, 라벨이 제한된 예제에 대해 강건성을 보인다.
• 절삭 분석 결과 텍스트로부터의 국부적(구성) 및 글로벌(공간군, 대칭) 지식이 예측 향상에 기여한다.