[论文解读] Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

Hongshuo Huang, Rishikesh Magar+2 more|arXiv (Cornell University)|Aug 30, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文提出Materials Informatics Transformer（MatInFormer），一种基于Transformer的语言模型，通过将晶体学信息（特别是空间群对称性）分词为类似文本的序列，实现材料性质的预测。该模型在14个数据集上达到最先进性能，并通过注意力可视化实现可解释性，在高通量筛选中表现优于图神经网络（GNNs）及其他模型，且无论晶体大小，内存使用保持一致。

ABSTRACT

Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for material property prediction by introducing our model Materials Informatics Transformer (MatInFormer). Specifically, we introduce a novel approach that involves learning the grammar of crystallography through the tokenization of pertinent space group information. We further illustrate the adaptability of MatInFormer by incorporating task-specific data pertaining to Metal-Organic Frameworks (MOFs). Through attention visualization, we uncover the key features that the model prioritizes during property prediction. The effectiveness of our proposed model is empirically validated across 14 distinct datasets, hereby underscoring its potential for high throughput screening through accurate material property prediction.

研究动机与目标

• 开发一种与结构无关、无坐标依赖的材料性质预测方法，避免对DFT弛豫结构的依赖。
• 通过为空间群和结构信息创建有意义的、类似语法的分词方式，使大型语言模型（LLMs）能够应用于晶体材料。
• 通过可视化注意力机制，提升材料机器学习中的可解释性，识别影响预测的关键结构特征。
• 通过避免依赖结构的表示方式，降低计算成本，并实现对如金属有机框架（MOFs）等大体系的高效扩展。
• 通过标准化基准测试，验证模型在多样化材料性质上的泛化能力。

提出的方法

• 该模型采用新颖的分词方案，将空间群信息及晶体学参数（如晶格参数、体积、孔隙率）编码为离散标记，实现类似大型语言模型的处理方式。
• 在预训练阶段采用掩码语言建模（MLM），以学习晶体学的‘语法规则’，包括化学式、对称性与结构特征之间的关系。
• 架构采用标准的Transformer编码器，包含多头自注意力机制，其中[CLS]标记关注所有输入标记，用于回归头预测。
• 通过材料数据集进行任务特定的微调，添加信息学标记（如拓扑、孔隙率）以提升对MOFs的预测性能。
• 利用注意力可视化解释模型决策，揭示哪些标记（如化学式、空间群、孔隙率）对预测影响最大。
• 模型在JARVIS数据库中的大规模材料语料上进行预训练，并在Matbench的14个基准数据集上进行微调。

Figure 1: Framework of Material Informatics Transformer. (a) The tokens used for representing material, including Space Group Tokens, Informatics Tokens, and Formula Tokens. The representations are tokenized and combined as the input of the Transformer model. (b) The pretrainning stage. A Large unla

实验结果

研究问题

• RQ1 能否有效对晶体学信息（如空间群对称性）进行分词，并作为输入用于基于Transformer的语言模型进行材料科学预测？
• RQ2 基于掩码语言建模的预训练策略是否能在无需显式结构输入的情况下，提升下游材料性质预测性能？
• RQ3 在MOF性质预测中，引入信息学标记（如晶胞体积、孔隙率）对模型性能有何影响？
• RQ4 MatInFormer中的注意力可视化在多大程度上能提供关于模型决策过程的可解释性洞察？
• RQ5 与依赖结构的模型（如GNNs）不同，MatInFormer是否能在大晶体中保持一致的内存使用和可扩展性？

主要发现

• MatInFormer在14项多样化材料性质预测任务中均达到最先进平均绝对误差（MAE）性能，优于CGCNN、MOFormer和Stoichiometric-120等模型。
• 在hMOF数据集中，包含拓扑、体积和孔隙率标记的MatInFormer(TVP)在0.05 bar条件下对CH₄吸附量的MAE为0.113 ± 0.002，显著优于基线CGCNN（0.028 ± 0.001）和MOFormer（0.034 ± 0.000）。
• 注意力可视化显示，特定注意力头聚焦于化学式标记（如头1、10、12）、与孔隙率相关的标记（如头7、11）以及全局结构模式，从而增强模型可解释性。
• 该模型在不同晶体尺寸下保持恒定内存使用，展现出相对于随系统规模增长的GNNs的可扩展性优势。
• 消融实验表明，引入信息学标记（拓扑、体积、孔隙率）显著提升MOF性质预测性能，MatInFormer(TVP)在所有测试条件下均达到最低MAE。
• 在晶格参数预测上进行预训练，使模型能够学习到内在的晶体学关系，从而提升下游任务的泛化能力。

Figure 2: t-SNE plots for two different pretrain datasets