[논문 리뷰] Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

Hongshuo Huang, Rishikesh Magar외 2명|arXiv (Cornell University)|2023. 08. 30.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 결정학적 정보—특히 공간군 대칭성—을 텍스트 유사 시퀀스로 토큰화하는 트랜스포머 기반 언어 모델인 Materials Informatics Transformer (MatInFormer)를 소개한다. 이 모델은 14개 데이터셋에서 최신 기술 수준의 성능을 달성하며, 주목사의 시각화를 통해 해석 가능성을 확보하고, 결정 크기에 관계없이 일관된 메모리 사용을 유지하면서 고속 걸러내기 테스트에서 GNN 및 기타 모델을 능가한다.

ABSTRACT

Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for material property prediction by introducing our model Materials Informatics Transformer (MatInFormer). Specifically, we introduce a novel approach that involves learning the grammar of crystallography through the tokenization of pertinent space group information. We further illustrate the adaptability of MatInFormer by incorporating task-specific data pertaining to Metal-Organic Frameworks (MOFs). Through attention visualization, we uncover the key features that the model prioritizes during property prediction. The effectiveness of our proposed model is empirically validated across 14 distinct datasets, hereby underscoring its potential for high throughput screening through accurate material property prediction.

연구 동기 및 목표

• DFT로 조정된 구조가 필요 없도록, 구조에 종속되지 않은 좌표 기반 접근 방식을 개발한다.
• 공간군 및 구조적 정보를 의미 있고 문법 유사한 방식으로 토큰화하여 대규모 언어 모델(LM)을 결정성 재료에 적용할 수 있도록 한다.
• 주목사 메커니즘의 시각화를 통해 재료 기계학습에서의 설명 가능성을 향상시켜, 예측에 영향을 주는 핵심 구조적 특징을 식별한다.
• 형태에 의존하는 표현 방식을 피하고, MOF와 같은 큰 시스템으로도 효율적으로 확장 가능한 방식으로 계산 비용을 줄인다.
• 표준화된 벤치마크를 사용하여 모델의 일반화 능력을 다양한 재료 성질에 대해 검증한다.

제안 방법

• 공간군 정보와 결정학적 파라미터(예: 격자 상수, 부피, 다공성)를 이산 토큰으로 인코딩하는 새로운 토큰화 기법을 사용하여, LLM 방식의 처리가 가능하도록 한다.
• 예측의 '문법'을 학습하기 위해 사전 훈련 단계에서 마스크된 언어 모델링(Masked Language Modeling, MLM)을 적용하여, 화학식, 대칭성, 구조적 특징 간의 관계를 학습한다.
• 표준 트랜스포머 인코더 아키텍처를 사용하며, [CLS] 토큰이 모든 입력 토큰에 주목하여 회귀 헤드 예측을 수행한다.
• 재료 데이터셋을 사용한 태스크 특화 미세조정을 수행하며, MOF의 예측 성능 향상을 위해 정보 토큰(예: 구조적 위상, 다공성)을 추가한다.
• 주목사 시각화를 통해 모델의 결정 내역을 해석하고, 예측에 가장 영향을 주는 토큰(예: 화학식, 공간군, 다공성)을 식별한다.
• 모델은 JARVIS 데이터베이스에서 확보한 대규모 재료 코퍼스로 사전 훈련하고, Matbench의 14개 벤치마크 데이터셋에서 미세조정한다.

Figure 1: Framework of Material Informatics Transformer. (a) The tokens used for representing material, including Space Group Tokens, Informatics Tokens, and Formula Tokens. The representations are tokenized and combined as the input of the Transformer model. (b) The pretrainning stage. A Large unla

실험 결과

연구 질문

• RQ1 공간군 대칭성과 같은 결정학적 정보를 재료 과학에서 트랜스포머 기반 언어 모델의 입력으로 효과적으로 토큰화하고 활용할 수 있는가?
• RQ2 마스크된 언어 모델링 기반의 사전 훈련 전략이 구조적 입력을 명시적으로 제공하지 않더라도, 후속 재료 성질 예측 성능을 향상시킬 수 있는가?
• RQ3 정보 토큰(예: 격자 세포 부피, 다공성)의 포함 여부가 MOF 성질 예측 성능에 어떤 영향을 미치는가?
• RQ4 MatInFormer의 주목사 시각화가 모델의 결정 내역 과정에 대해 얼마나 해석 가능한 통찰을 제공하는가?
• RQ5 GNN과 같은 구조에 종속된 모델과 달리, MatInFormer은 큰 결정에서 일관된 메모리 사용과 확장성을 유지하는가?

주요 결과

• MatInFormer는 14개의 다양한 재료 성질 예측 작업에서 최신 기술 수준의 평균 절대 오차(MAE) 성능을 달성하며, CGCNN, MOFormer, Stoichiometric-120 등의 모델을 능가한다.
• hMOF 데이터셋에서 MatInFormer(TVP)는 CH₄ 흡착량(0.05 bar 기준)의 MAE가 0.113 ± 0.002로 나타나, 베이스라인인 CGCNN(0.028 ± 0.001)과 MOFormer(0.034 ± 0.000)를 뛰어넘는 성능을 보였다.
• 주목사 시각화 결과, 특정 주목사 헤드(예: 헤드 1, 10, 12)는 화학식 토큰에 집중하고, 다공성 관련 토큰(예: 헤드 7, 11)과 전반적인 구조적 패턴에 주목하여 모델의 설명 가능성을 향상시켰다.
• 모델은 결정 크기에 관계없이 일정한 메모리 사용을 유지하여, GNN와 같이 시스템 크기에 따라 증가하는 모델과 비교해 확장성 우수성을 입증했다.
• 제거 실험 결과, 위상, 부피, 다공성 토큰과 같은 정보 토큰을 통합할 경우 MOF 성질 예측 성능이 크게 향상되었으며, MatInFormer(TVP)는 모든 테스트 조건에서 가장 낮은 MAE를 기록했다.
• 격자 상수 예측으로 사전 훈련을 수행함으로써, 모델는 결정학적 관계의 내재적 특성을 학습하여 후속 작업에서의 일반화 능력을 향상시켰다.

Figure 2: t-SNE plots for two different pretrain datasets