[논문 리뷰] LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions

Andre Niyongabo Rubungo, Craig B. Arnold외 2명|arXiv (Cornell University)|2023. 10. 21.

Machine Learning in Materials Science인용 수 29

한 줄 요약

LLM-Prop은 텍스트 설명으로부터 결정 특성을 예측하기 위해 T5 인코더를 미세조정하며, TextEdge 데이터셋에서 밴드갭, 직접/간접 분류, 및 단위 셀 부피에서 그래프 신경망(GNN) 베이스라인 대비 최첨단 성능을 달성한다.

ABSTRACT

The prediction of crystal properties plays a crucial role in the crystal design process. Current methods for predicting crystal properties focus on modeling crystal structures using graph neural networks (GNNs). Although GNNs are powerful, accurately modeling the complex interactions between atoms and molecules within a crystal remains a challenge. Surprisingly, predicting crystal properties from crystal text descriptions is understudied, despite the rich information and expressiveness that text data offer. One of the main reasons is the lack of publicly available data for this task. In this paper, we develop and make public a benchmark dataset (called TextEdge) that contains text descriptions of crystal structures with their properties. We then propose LLM-Prop, a method that leverages the general-purpose learning capabilities of large language models (LLMs) to predict the physical and electronic properties of crystals from their text descriptions. LLM-Prop outperforms the current state-of-the-art GNN-based crystal property predictor by about 4% in predicting band gap, 3% in classifying whether the band gap is direct or indirect, and 66% in predicting unit cell volume. LLM-Prop also outperforms a finetuned MatBERT, a domain-specific pre-trained BERT model, despite having 3 times fewer parameters. Our empirical results may highlight the current inability of GNNs to capture information pertaining to space group symmetry and Wyckoff sites for accurate crystal property prediction.

연구 동기 및 목표

• 결정 구조의 텍스트 설명을 사용해 결정 속성의 신속한 예측을 촉진하여 결정 설계를 가속화한다.
• 재료과학 NLP를 촉진하기 위한 결정 텍스트 설명 및 속성을 포함하는 공개 벤치마크(TextEdge)를 제공한다.
• 사전 학습된 인코더(T5)를 텍스트 설명에 대해 미세조정하는 것이 결정 속성 예측에서 그래프 신경망을 능가할 수 있음을 보여준다.
• 텍스트 기반 표현이 GNN이 놓치는 공간군(spac_group) 및 Wyckoff 정보를 포착할 수 있음을 보여준다.

제안 방법

• 디코더를 버리고 선형 출력 계층을 사용하는 회귀 및 분류를 위한 T5 인코더 미세조정.
• 벤치마크 데이터에서 학습된 32k 어휘를 사용하여 Robocrystallographer에서 파생된 결정 텍스트 설명을 처리.
• 불용어를 제거하고 결합 거리([NUM] 토큰)와 결합 각도([ANG] 토큰)로 대체한 후,[CLS] 토큰을 프리패팅하여 풀링에 사용한다.
• 정규화된 대상(z-점수, 최소-최대, 또는 로그 정규화)을 사용하여 학습하고 평가를 위해 예측치를 역정규화한다.
• CLS 토큰 임베딩을 최종 선형 예측기로 입력으로 사용하여 더 긴 입력 시퀀스(최대 888 토큰)로 더 풍부한 결정 설명을 가능하게 한다.
• 밴드 갭, 직접/간접 분류, 부피 과제에서 CGCNN, MEGNet, ALIGNN(GNN), 및 MatBERT(텍스트 베이스라인) 등 강력한 베이스라인과 비교한다.

Figure 1 : LLM-Prop architecture. On the left most of the figure, we show how we get the description from the crystal structure using Robocrystallographer. The middle part shows the comparison between our approach (text-based) and baselines (structure-based). The yellow colored information is relate

실험 결과

연구 질문

• RQ1 결정 속성은 명시적 그래프 표현 없이도 텍스트 설명만으로 정확히 예측될 수 있는가?
• RQ2 사전 학습된 인코더-디코더 모델(T5)의 디코더를 제거하고 이 도메인에서 회귀/분류를 위해 인코더를 미세조정했을 때 성능은 어떠한가?
• RQ3 텍스트에서 결정 대칭, 공간군, Wyckoff 위치 정보를 가장 잘 포착하도록 어떤 전처리 및 입력 길이 전략이 효과적인가?
• RQ4 LLM-Prop은 MatBERT 같은 도메인 특화 LLM 및 GNN 베이스라인과 여러 결정 속성 태스크에서 어떻게 비교되는가?
• RQ5 그래프 기반 모델에 비해 결정 속성 예측에서 LLM-Prop가 데이터 효율성에서 어떤 이점을 가지는가?

주요 결과

• LLM-Prop은 밴드 갭 및 부피 예측에서 최첨단 GNN 베이스라인(ALIGNN 등)을 지속적으로 능가한다; 밴드 갭 MAE는 약 4–8%, 부피 MAE는 대략 66–67% 향상된다.
• 밴드갭 직접/간접 분류에서 LLM-Prop은 검증에서 최고 GNN 베이스라인 대비 약 5% AUC를 능가하고 다양한 설정에서 같은/향상된 성능을 보인다.
• 512 토큰을 사용할 때도 LLM-Prop은 여전히 GNN 베스트셀러를 상회하며, 888 토큰에서 최상의 성능을 달성하면서 인코더-디코더 구성의 파라미터 절반 정도를 사용한다.
• LLM-Prop은 종종 MatBERT를 능가하고 태스크 간 전이 학습(밴드 갭에서 부피로, 그 반대 방향)에서 강한 성능을 보여준다.
• 텍스트 기반 표현은 GNN 기반 결정 예측기가 처리하기 어려운 공간군 및 Wyckoff 위치 정보를 포착할 수 있어, 향후 모델에 보완적 방향을 제시한다.
• 데이터 효율성: LLM-Prop은 밴드 갭 및 부피에서 약 9만 개의 학습 샘플로 최첨단 결과를 달성하고, 부피 예측은 약 3만 개로도 GNN 베이스라인보다 우수한 데이터를 활용한다.

Figure 2 : Training data size needed by LLM-Prop to achieve state-of-the-art (SOTA) results on predicting different properties. For instance, LLM-Prop achieves SOTA results on prediciting band gap and volume with just about 90k training data ( $log_{10}90k\approx 4.95$ on the figure ) that correspon