[论文解读] Foundational Large Language Models for Materials Research

Vaibhav Mishra, Sourabh Singh+8 more|arXiv (Cornell University)|Dec 12, 2024

Machine Learning in Materials Science被引用 13

一句话总结

LLaMat 是一个面向材料科学的领域自适应语言模型家族，通过持续预训练和指令/任务微调，在材料科学任务上优于通用大型语言模型。它有两个变体（LLaMat-Chat 和 LLaMat-CIF），分别用于自然语言处理和晶体结构生成；观察到的适应刚性凸显了过度训练模型的局限性。

ABSTRACT

Materials discovery and development are critical for addressing global challenges. Yet, the exponential growth in materials science literature comprising vast amounts of textual data has created significant bottlenecks in knowledge extraction, synthesis, and scientific reasoning. Large Language Models (LLMs) offer unprecedented opportunities to accelerate materials research through automated analysis and prediction. Still, their effective deployment requires domain-specific adaptation for understanding and solving domain-relevant tasks. Here, we present LLaMat, a family of foundational models for materials science developed through continued pretraining of LLaMA models on an extensive corpus of materials literature and crystallographic data. Through systematic evaluation, we demonstrate that LLaMat excels in materials-specific NLP and structured information extraction while maintaining general linguistic capabilities. The specialized LLaMat-CIF variant demonstrates unprecedented capabilities in crystal structure generation, predicting stable crystals with high coverage across the periodic table. Intriguingly, despite LLaMA-3's superior performance in comparison to LLaMA-2, we observe that LLaMat-2 demonstrates unexpectedly enhanced domain-specific performance across diverse materials science tasks, including structured information extraction from text and tables, more particularly in crystal structure generation, a potential adaptation rigidity in overtrained LLMs. Altogether, the present work demonstrates the effectiveness of domain adaptation towards developing practically deployable LLM copilots for materials research. Beyond materials science, our findings reveal important considerations for domain adaptation of LLMs, such as model selection, training methodology, and domain-specific performance, which may influence the development of specialized scientific AI systems.

研究动机与目标

• 通过开发领域自适应的基础型 LLM，解决在庞大材料文献中挖掘的瓶颈。
• 为材料文本处理和晶体结构生成创建 LLaMat 变体。
• 在 MatSci NLP、SIE 和晶体生成任务中对比评估 LLaMat 与商业化 LLM。
• 分析预训练和微调策略如何影响领域特定性能和通用语言能力。

提出的方法

• 三阶段开发：在面向材料的语料库（R2CID）上进行持续预训练，并使用 3% 的 RedPajama 子集以保留英语技能。
• 两条指令微调路径分别产生 LLaMat-Chat（通用与材料科学特定任务，具下游问答能力）和 LLaMat-CIF（以晶体结构文件为焦点的任务）。
• 参数高效微调（PEFT）使得使用 LLaMat-CIF 能从 CIF 数据进行晶体生成。
• 在 MatSci NLP、MatSIE 以及晶体生成基准上进行系统评估，并与闭源 LLM 进行比较。

实验结果

研究问题

• RQ1 领域自适应预训练和指令微调如何改善 MatSci 自然语言处理和信息抽取？
• RQ2 领域自适应的 LLM 能否从 CIF 数据生成有效且稳定的晶体结构，且与现有方法相比如何？
• RQ3 在 MatSci 任务中，模型规模、预训练数据规模与领域自适应有效性之间有哪些权衡？
• RQ4 过度训练（适应刚性）是否限制了像 LLaMA-3 这样的大型基础模型在材料应用中的领域适应性，相较于 LLaMA-2？

主要发现

• LLaMat-Chat 变体在 MatSci NLP 和 SIE 任务上优于基线 LLaMA 和闭源模型。
• LLaMat-2-CIF 在晶体生成中实现了高的组成有效性（0.995）和稳定性（生成结构中有 49.49% 稳定），覆盖性强（0.986 召回率，0.996 精度）。
• LLaMat-3-CIF 生成更复杂的结构，但结构有效性和效率较低，表明高度预训练模型存在适应刚性。
• 在各项任务中，领域自适应的 LLaMat 模型在材料相关分析方面始终优于商业化大模型（GPT、Claude、Gemini）。
• 适应刚性表明较小、目标明确的领域自适应模型（LLaMat-2）在许多 MatSci 任务上能够胜过更大后续模型（LLaMat-3）。