[논문 리뷰] Foundational Large Language Models for Materials Research

Vaibhav Mishra, Sourabh Singh외 8명|arXiv (Cornell University)|2024. 12. 12.

Machine Learning in Materials Science인용 수 13

한 줄 요약

LLaMat은 재훈련과 지시/작업 미세조정을 계속적으로 수행하여 재료과학(MatSci) 작업에서 일반 목적 LLM보다 뛰어난 도메인 적응 계열의 언어 모델이며, 두 가지 변형(LLaMat-Chat과 LLaMat-CIF)이 각각 NLP와 결정 구조 생성을 위한 용도로 제공됩니다. 관찰된 적응 강직성은 과도하게 학습된 모델의 한계를 강조합니다.

ABSTRACT

Materials discovery and development are critical for addressing global challenges. Yet, the exponential growth in materials science literature comprising vast amounts of textual data has created significant bottlenecks in knowledge extraction, synthesis, and scientific reasoning. Large Language Models (LLMs) offer unprecedented opportunities to accelerate materials research through automated analysis and prediction. Still, their effective deployment requires domain-specific adaptation for understanding and solving domain-relevant tasks. Here, we present LLaMat, a family of foundational models for materials science developed through continued pretraining of LLaMA models on an extensive corpus of materials literature and crystallographic data. Through systematic evaluation, we demonstrate that LLaMat excels in materials-specific NLP and structured information extraction while maintaining general linguistic capabilities. The specialized LLaMat-CIF variant demonstrates unprecedented capabilities in crystal structure generation, predicting stable crystals with high coverage across the periodic table. Intriguingly, despite LLaMA-3's superior performance in comparison to LLaMA-2, we observe that LLaMat-2 demonstrates unexpectedly enhanced domain-specific performance across diverse materials science tasks, including structured information extraction from text and tables, more particularly in crystal structure generation, a potential adaptation rigidity in overtrained LLMs. Altogether, the present work demonstrates the effectiveness of domain adaptation towards developing practically deployable LLM copilots for materials research. Beyond materials science, our findings reveal important considerations for domain adaptation of LLMs, such as model selection, training methodology, and domain-specific performance, which may influence the development of specialized scientific AI systems.

연구 동기 및 목표

• vast materials literature를 탐색하는 병목 현상을 해결하기 위해 도메인에 적응된 기초 LLM을 개발한다.
• 재료 텍스트 처리 및 결정 구조 생성을 위한 LLaMat 변형을 만든다.
• MatSci NLP, SIE 및 결정 생성 작업에서 LLaMat를 상용 LLM과 비교 평가한다.
• 프리트레이닝 및 미세조정 전략이 도메인 특화 성능과 일반 언어 능력에 어떤 영향을 미치는지 분석한다.

제안 방법

• 세 단계 개발: 영어 기술을 보존하기 위해 3% RedPajama 하위집합을 포함한 재료 중심 코퍼스(R2CID)에서의 지속적 프리트레이닝.
• 두 가지 지시 기반 미세조정 경로를 통해 LLaMat-Chat(일반 및 MatSci 특화 작업과 다운스트림 QA 기능 포함)과 LLaMat-CIF(결정 결정 파일 중심 작업) 생성.
• 매개변수 효율적 미세조정(PEFT)을 통해 CIF 데이터로부터 LLaMat-CIF로 결정 생성을 가능하게 함.
• MatSci NLP, MatSIE, 결정 생성 벤치마크에 걸친 체계적 평가 및 폐쇄 소스 LLM과의 비교.

실험 결과

연구 질문

• RQ1 도메인 적응 프리트레이닝 및 지시 미세조정이 MatSci 자연어 처리 및 정보 추출을 어떻게 개선할 수 있는가?
• RQ2 도메인 적응 LLM이 CIF 데이터로부터 유효하고 안정적인 결정 구조를 생성할 수 있는가, 그리고 기존 방법과 비교하면 어떠한가?
• RQ3 MatSci 작업에서 모델 크기, 프리트레이닝 데이터 규모, 도메인 적응 효율성의 트레이드오프는 무엇인가?
• RQ4 과도한 학습(적응 강직성)이 LLaMA-3 같은 더 큰 기본 모델의 도메인 적응력을 Material 응용에서 LLaMA-2에 비해 제한하는가?

주요 결과

• LLaMat-Chat 변형은 MatSci NLP와 SIE 작업에서 기본 LLaMA 및 폐쇄소스 모델을 능가한다.
• LLaMat-2-CIF는 결정 생성에서 높은 구성 타당도(0.995)와 안정성(생성된 구조 중 49.49%가 안정적) 을 달성하며 강력한 커버리지(0.986 재현율, 0.996 정밀도)를 보인다.
• LLaMat-3-CIF는 더 복잡한 구조를 생성하지만 구조 타당도와 효율성이 낮아, 고도로 사전학습된 모델의 적응 강직성을 시사한다.
• 작업 전반에 걸쳐 도메인 적응 LLaMat 모델은 MatSci 관련 분석에서 상용 LLM(GPT, Claude, Gemini)을 지속적으로 능가한다.
• 적응 강직성은 더 작고 목표지향적인 도메인 적응 모델(LLaMat-2)이 다수의 MatSci 작업에서 더 큰 후속 모델(LLaMat-3)보다 우수할 수 있음을 시사한다.