[论文解读] Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

Nate Gruver, Anuroop Sriram+4 more|arXiv (Cornell University)|Feb 6, 2024

Modular Robots and Swarm Intelligence被引用 34

一句话总结

微调后的大型语言模型可以以文本形式生成有效且亚稳态的3D晶体结构，符合机器学习势或DFT标准，在规模化下的亚稳/稳定产率上超越CDVAE。

ABSTRACT

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.

研究动机与目标

• 证明微调后的大型语言模型能够生成编码为文本的有效晶体结构。
• 使用ML势和DFT松弛评估生成材料的稳定性。
• 与扩散模型基线进行比较，并分析对称性学习与模型规模的影响。
• 展示文本条件生成和填充作为材料发现的实用设计工具。

提出的方法

• 将晶体编码为换行分隔的字符串，并对基础LLM（LLaMA-2）进行多任务课程和翻译增强的微调。
• 使用低秩适配器（LoRA）和4位量化在Materials Project数据上进行训练。
• 提示设计实现无条件生成、文本条件生成和填充。
• 通过随机平移数据增强训练，以提高平移不变性。
• 用结构/成分有效性、多样性以及来自ML势（M3GNet）和DFT（VASP）的能量高于 hull 的估计来评估样本。
• 提出将 Transformation 下的困惑度提升（IPT）作为平移不变性的度量指标。

实验结果

研究问题

• RQ1 在被编码为文本时，微调后的LLM能否生成有效且亚稳态的无机晶体结构？
• RQ2 模型规模如何影响学习晶体对称性和生成稳定材料的能力？
• RQ3 文本条件生成和填充在目标成分、空间群和稳定性方面的表现如何？
• RQ4 在稳定性、多样性和采样速度方面，LLMs 与基于扩散的晶体生成器（CDVAE）相比如何？

主要发现

• 微调后的 LLaMA-2 模型在结构和组成方面都产生了高有效性率。
• LLaMA-2 70B（τ=0.7）基于表1指标实现49.8%的亚稳态样本和10.6%的稳定样本，在亚稳态/稳定产率方面超过 CDVAE。
• 更大的模型更好地学习平移不变性（IPT 指标）以及多样性/新颖性之间的权衡。
• 给定oracle标签，文本条件化可靠地产出具有期望成分的材料，在空间群和稳定性方面的效果较弱一些。
• 使用70B模型的填充将突变引导至更高的亚稳态产出，同时不牺牲多样性。
• 与CDVAE相比，LLaMA-2模型提供更快的生成速度，且样本多样性通常更高。