[论文解读] Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials

Lai Wei, Qinyang Li+5 more|arXiv (Cornell University)|Apr 25, 2022

Machine Learning in Materials Science被引用 7

一句话总结

本论文提出 Crystal Transformer，一种基于掩码填空语言模型架构的自监督、概率生成模型，用于无机材料设计。该模型仅通过 40,000 个化学式便学习到‘材料语法规则’，实现了可解释性高、数据效率强的化学有效材料生成，电荷中性率达 89.7%，电负性平衡率达 84.8%，分别较随机采样提升超过 4 倍和 8 倍。

ABSTRACT

Self-supervised neural language models have recently achieved unprecedented success, from natural language processing to learning the languages of biological sequences and organic molecules. These models have demonstrated superior performance in the generation, structure classification, and functional predictions for proteins and molecules with learned representations. However, most of the masking-based pre-trained language models are not designed for generative design, and their black-box nature makes it difficult to interpret their design logic. Here we propose BLMM Crystal Transformer, a neural network based probabilistic generative model for generative and tinkering design of inorganic materials. Our model is built on the blank filling language model for text generation and has demonstrated unique advantages in learning the "materials grammars" together with high-quality generation, interpretability, and data efficiency. It can generate chemically valid materials compositions with as high as 89.7\% charge neutrality and 84.8\% balanced electronegativity, which are more than 4 and 8 times higher compared to a pseudo random sampling baseline. The probabilistic generation process of BLMM allows it to recommend tinkering operations based on learned materials chemistry and makes it useful for materials doping. Combined with the TCSP crysal structure prediction algorithm, We have applied our model to discover a set of new materials as validated using DFT calculations. Our work thus brings the unsupervised transformer language models based generative artificial intelligence to inorganic materials. A user-friendly web app has been developed for computational materials doping and can be accessed freely at \url{www.materialsatlas.org/blmtinker}.

研究动机与目标

• 开发一种用于无机材料的生成式 AI 模型，以克服现有深度学习模型的黑箱局限性。
• 通过从无标签的组成数据中学习‘材料语法’，实现可解释性高、数据效率强的材料设计。
• 通过可解释的、基于规则的生成步骤，同时支持生成式设计与材料改造（如掺杂）。
• 在极少人工标注数据下实现高质量、化学有效的化学式生成，与需要数百万样本的蛋白质或分子模型形成对比。
• 通过第一性原理 DFT 计算验证模型预测结果，并展示其在发现新材料方面的实用性。

提出的方法

• 将掩码填空（掩码语言建模）Transformer 架构适配于学习无机材料化学式的句法与语义规则。
• 采用自监督方式，仅使用原始化学式（无标签）进行训练，通过下一项词预测学习‘材料语法’。
• 采用概率生成步骤，基于学习到的化学规则，推荐替代或掺杂操作并提供解释。
• 采用包含 6 层、8 个注意力头、2048 维隐藏层的 Transformer 神经网络，使用 Adam 优化器，初始默认学习率为 0.0001。
• 通过电荷中性率（CN）和电负性平衡率（EN）等指标评估生成样本的模型性能。
• 使用 Roost 模型（图神经网络）对 10% 测试集进行验证，预测生成化学式的生成能（平均绝对误差：70.181 eV）与带隙（平均绝对误差：0.6645 eV）

实验结果

研究问题

• RQ1 自监督的掩码填空 Transformer 模型能否从极小数据中学习到化学上有意义的‘材料语法’？
• RQ2 在电荷中性率与电负性平衡率方面，该模型在生成化学有效化学式方面的表现与随机采样或其他生成模型相比如何？
• RQ3 该模型在支持可解释性材料设计与改造（如掺杂）方面，其可解释的生成步骤能发挥多大作用？
• RQ4 哪些超参数（如层数、注意力头数、隐藏层大小）显著影响模型的生成质量与稳定性？
• RQ5 该模型能否发现经第一性原理 DFT 计算验证的新材料？

主要发现

• Crystal Transformer 在生成的材料化学式中实现了 89.7% 的电荷中性率与 84.8% 的电负性平衡率，分别较增强型随机采样高出 400% 与 800% 以上。
• 该模型仅使用 40,000 个训练化学式即可生成化学有效化学式，相较于需数百万样本训练的模型，展现出极高的数据效率。
• 超参数调优表明，最优性能出现在 6 层 Transformer、8 个注意力头、2048 个隐藏单元、0.3 的 Dropout 比例与 0.0001 的学习率。
• 在相同基准测试中，该模型在电荷中性率（85.85%）与电负性平衡率（82.63%）方面均优于相关模型（LBLM 与 INST）。
• 基于生成化学式训练的 Roost 模型，预测生成能的平均绝对误差（MAE）为 70.181 eV，预测带隙的 MAE 为 0.6645 eV。
• 该模型成功生成了经 DFT 计算验证的新颖材料化学式，证实了该方法的实际应用价值。