[논문 리뷰] Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

Nate Gruver, Anuroop Sriram외 4명|arXiv (Cornell University)|2024. 02. 06.

Modular Robots and Swarm Intelligence인용 수 34

한 줄 요약

미세 조정된 대형 언어 모델은 기계 학습 포텐셜이나 DFT 표준에 따라 유효하고 준안정한 3D 결정 구조를 텍스트로 생성할 수 있으며, 규모 확장에서 CDVAE를 준안정성/안정성 수율 측면에서 능가한다.

ABSTRACT

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.

연구 동기 및 목표

• 미세 조정된 대형 언어 모델이 텍스트로 인코딩된 유효한 결정 구조를 생성할 수 있음을 시연한다.
• ML 포텐셜과 DFT 이완(Relaxations)을 사용하여 생성된 재료의 안정성을 평가한다.
• 확산모델 기반의 기준과 비교하고 대칭성 학습 및 모델 규모 효과를 분석한다.
• 재료 발견을 위한 실용적 설계 도구로서 텍스트 조건부 생성 및 인필링을 선보인다.

제안 방법

• 결정 구조를 개행 문자로 구분된 문자열로 인코딩하고, 멀티태스크 커리큘럼 및 번역 증강을 사용하여 기본 LLM(LLaMA-2)을 미세 조정한다.
• 저랭크 어댑터(LoRA)와 4비트 양자화로 Materials Project 데이터를 학습에 사용한다.
• 무조건 생성, 텍스트 조건부 생성 및 인필링을 가능하게 하는 프롬프트 설계.
• 변환 불변성을 촉진하기 위해 무작위 번역으로 학습을 보강한다.
• 샘플의 구조적/구성적 유효성, 다양성, 그리고 에너지 위상(해밀턴계 에너지 상한)에서의 M3GNet 같은 ML 포텐셜 및 VASP 같은 DFT의 비교를 통해 평가한다.
• 번역 불변성의 척도로 Transformation 하에서의 Perplexity 증가(IPT)를 제안한다.

실험 결과

연구 질문

• RQ1 텍스트로 인코딩될 때 미세 조정된 LLM이 유효하고 준안정한 무기질 결정 구조를 생성할 수 있는가?
• RQ2 모델 규모가 결정 대칭성을 학습하고 안정적인 재료를 생성하는 능력에 어떤 영향을 미치는가?
• RQ3 대상 조성, 공간군, 안정성에 대해 텍스트 조건부 생성과 인필링이 어떤 성능을 보이는가?
• RQ4 안정성, 다양성, 샘플링 속도 측면에서 LLM이 확산 기반 결정 생성기(CDVAE)와 어떻게 비교되는가?

주요 결과

• 미세 조정된 LLaMA-2 모델이 구조적 및 구성적 측면 모두에서 높은 유효성 비율을 생성한다.
• τ=0.7인 LLaMA-2 70B는 Table 1 지표에 따라 49.8%의 준안정 샘플과 10.6%의 안정 샘플을 달성하여 CDVAE를 준안정성/안정성 수율에서 능가한다.
• 더 큰 모델은 번역 불변성(IPT 지표) 및 다양성/신규성의 균형을 더 잘 학습한다.
• 텍스트 조건부 생성은 오라클 레이블이 주어지면 원하는 조성의 재료를 신뢰성 있게 산출하고, 공간군 및 안정성도 어느 정도 달성한다.
• 70B 모델의 인필링은 다양성을 해치지 않으면서 돌연변이를 더 높은 준안정 수율로 이끈다.
• CDVAE와 비교할 때, LLaMA-2 모델은 더 빠른 생성과 종종 더 큰 샘플 다양성을 제공한다.