[论文解读] Crystal Structure Generation with Autoregressive Large Language Modeling

Luis M. Antunes, Keith T. Butler+1 more|arXiv (Cornell University)|Jul 10, 2023

Machine Learning in Materials Science被引用 18

一句话总结

CrystaLLM 在 CIF 文本上训练自回归 Transformer，以生成可信的无机晶体结构，并通过能量预测器引导的 MCTS 进行细化以提高结构质量和真实感。它能泛化到未知公式，并在 CSP 基准测评中与基于扩散/VAE 的基线相比具有竞争力。

ABSTRACT

The generation of plausible crystal structures is often the first step in predicting the structure and properties of a material from its chemical composition. Quickly generating and predicting inorganic crystal structures is important for the discovery of new materials, which can target applications such as energy or electronic devices. However, most current methods for crystal structure prediction are computationally expensive, slowing the pace of innovation. Seeding structure prediction algorithms with quality generated candidates can overcome a major bottleneck. Here, we introduce CrystaLLM, a methodology for the versatile generation of crystal structures, based on the autoregressive large language modeling (LLM) of the Crystallographic Information File (CIF) format. Trained on millions of CIF files, CrystaLLM focuses on modeling crystal structures through text. CrystaLLM can produce plausible crystal structures for a wide range of inorganic compounds unseen in training, as demonstrated by ab initio simulations. The integration with predictors of formation energy permits the use of a Monte Carlo Tree Search algorithm to improve the generation of meaningful structures. Our approach challenges conventional representations of crystals, and demonstrates the potential of LLMs for learning effective 'world models' of crystal chemistry, which will lead to accelerated discovery and innovation in materials science.

研究动机与目标

• 推动快速、灵活地生成可信的无机晶体结构，以加速 CSP 工作流程。
• 开发一个将晶体结构视为 CIF 格式中的标记序列并学习晶体化学世界模型的模型。
• 展示对未知结构的生成，并评估跨结构类别和空间群的泛化能力。
• 与能量预测器引导的蒙特卡洛树搜索整合，以改善具有物理意义的候选结构的生成。

提出的方法

• 在数百万个 CIF 文件上训练仅解码器的 Transformer（25M 参数的小模型和 200M 参数的大模型）。
• 将 CIF 表示为标记序列，采用自回归方式预测下一个标记，以在提示（单元组成、空间群）条件下生成新的 CIF 文件。
• 对生成的 CIF 相对于保留的测试结构，评估句法有效性和化学可行性。
• 通过使用未知公式和未知空间群进行提示，以及使用一组文献来源但未在训练中出现的挑战集结构来评估泛化能力。
• 使用带 ALIGNN 形成能-每原子能量预测器的蒙特卡洛树搜索（MCTS）来引导采样，以朝向较低能量结构。

Figure 1 : a Core concepts in training a Large Language Model of CIF files: A CIF file (left) is converted into a sequence of symbols, through tokenization. The sequence is processed by the model, which produces a list of probability distributions over the vocabulary, for each corresponding symbol i

实验结果

研究问题

• RQ1 CrystaLLM 是否能够为未知无机结构生成句法有效的 CIF 文件？
• RQ2 CrystaLLM 对未知组成和未知空间群的泛化能力如何？
• RQ3 包括空间群条件是否能够提高生成质量并与已知结构相匹配？
• RQ4 在基准数据集上，CrystaLLM 与基于扩散/ VAE 的 CSP 模型相比如何？
• RQ5 搜索策略（带能量预测的 MCTS）是否能提高生成结构的质量？

主要发现

• 小模型在保留测试集上在无空间群时实现了 93.8% 的有效 CIF 生成，在有空间群时为 94.0%；最长有效生成 CIF 长度为 1145 个标记（无空间群）和 970 个标记（有空间群）。
• 在空间群条件下，测试集生成的 CIF 的结构一致性指标较高（例如空间群一致性 99.1%，原子位点重数一致性 99.4%）。
• 在包含 70 个结构的挑战集合上（其中 58 个来自文献且未见，12 个在训练中见过），小模型在无空间群时实现 85.7% 的成功生成，在有空间群时为 88.6%；大模型分别为 87.1% 和 91.4%；未知匹配率在大模型带空间群时最高达到 41.4%。
• CrystaLLM 在挑战集合中对未知化合物的真实结构匹配率，使用大模型时高达约 40%（提供空间群时更高）。
• CrystaLLM 在对数 RMSE 的若干 CSP 基准测试中，使用每个测试组成 20 个样本时超越了 CDVAE 和 DiffCSP，并展现出针对对称性空间群进行条件化的独特能力。
• 该方法通过类比生成结构（例如以置换方式生成 ZrMn6Sn6 式的基模）并能够为复杂类别如 rutile、spinels、elpasolites、pyrochlores 产生可信的结构。