[论文解读] LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions

Andre Niyongabo Rubungo, Craig B. Arnold+2 more|arXiv (Cornell University)|Oct 21, 2023

Machine Learning in Materials Science被引用 29

一句话总结

LLM-Prop 对 T5 编码器进行微调，以从文本描述预测晶体性质，在带隙、直接/间接分类以及单胞体积等任务上超越基于 GNN 的基线，使用 TextEdge 数据集实现最先进结果。

ABSTRACT

The prediction of crystal properties plays a crucial role in the crystal design process. Current methods for predicting crystal properties focus on modeling crystal structures using graph neural networks (GNNs). Although GNNs are powerful, accurately modeling the complex interactions between atoms and molecules within a crystal remains a challenge. Surprisingly, predicting crystal properties from crystal text descriptions is understudied, despite the rich information and expressiveness that text data offer. One of the main reasons is the lack of publicly available data for this task. In this paper, we develop and make public a benchmark dataset (called TextEdge) that contains text descriptions of crystal structures with their properties. We then propose LLM-Prop, a method that leverages the general-purpose learning capabilities of large language models (LLMs) to predict the physical and electronic properties of crystals from their text descriptions. LLM-Prop outperforms the current state-of-the-art GNN-based crystal property predictor by about 4% in predicting band gap, 3% in classifying whether the band gap is direct or indirect, and 66% in predicting unit cell volume. LLM-Prop also outperforms a finetuned MatBERT, a domain-specific pre-trained BERT model, despite having 3 times fewer parameters. Our empirical results may highlight the current inability of GNNs to capture information pertaining to space group symmetry and Wyckoff sites for accurate crystal property prediction.

研究动机与目标

• 通过文本描述来加速晶体设计，快速预测晶体性质的动机。
• 提供一个公开基准（TextEdge），包含晶体文本描述及性质，以促进材料科学领域的 NLP 研究。
• 证明在文本描述上对预训练编码器（T5）进行微调，能在晶体性质预测中超越图神经网络。
• 展示基于文本的表征能够捕捉 GNN 常错过的空间群和 Wyckoff 信息。

提出的方法

• 将 T5 编码器进行微调（舍弃解码器），使用线性输出层进行回归和分类。
• 处理来自 Robocrystallographer 的晶体文本描述，使用在基准数据上训练的 32k 词汇表。
• 通过移除停用词、用 [NUM] 代替键长、用 [ANG] 代替键角来预处理输入；在前面添加 [CLS] 标记以进行池化。
• 使用归一化目标（z-score、最小-最大或对数归一化）进行训练，并在评估时对预测进行反归一化。
• 将 CLS 标记嵌入作为最终线性预测器的输入，从而使输入序列可以更长（最多 888 个标记），以获得更丰富的晶体描述。
• 与强基线进行比较，包括 CGCNN、MEGNet、ALIGNN（GNNs）以及 MatBERT（文本基线），在带隙、直接/间接和体积任务上。

Figure 1 : LLM-Prop architecture. On the left most of the figure, we show how we get the description from the crystal structure using Robocrystallographer. The middle part shows the comparison between our approach (text-based) and baselines (structure-based). The yellow colored information is relate

实验结果

研究问题

• RQ1 是否能仅从文本描述准确预测晶体性质，而无需显式的图表示？
• RQ2 在该领域，将解码器移除并对编码器进行微调用于回归/分类时，预训练的编码器-解码器模型（T5）的表现如何？
• RQ3 哪些预处理和输入长度策略最能使大语言模型从文本中捕捉晶体对称性、空间群和 Wyckoff 位信息？
• RQ4 LLM-Prop 与专门领域的 LLM 如 MatBERT 以及对比 GNN 基线，在多项晶体性质任务上的表现如何？
• RQ5 相对于基于图的模型，LLM-Prop 在晶体性质预测上的数据效率可以达到怎样？

主要发现

• LLM-Prop 在带隙和体积预测方面持续超越最先进的 GNN 基线（如 ALIGNN）；带隙 MAE 提升约 4–8%，体积 MAE 提升约 66–67%。
• 在带隙直接/间接分类方面，LLM-Prop 在验证集上比最佳 GNN 基线高出约 5% 的 AUC，并在不同设置下实现了相等/更高的测试增益。
• 使用 512 个标记时，LLM-Prop 仍然优于 GNN 基线，用 888 个标记时达到最佳性能，同时所使用的参数量约为编码器-解码器设置的一半。
• LLM-Prop 常常超过 MatBERT，并在任务之间显示出强的迁移学习能力（从带隙到体积，反之亦然）。
• 基于文本的表征能够捕捉空间群和 Wyckoff 位信息，这对基于 GNN 的晶体预测器来说是挑战，提示未来模型的互补方向。
• 数据效率：LLM-Prop 在大约 9 万训练样本用于带隙和体积时达到最先进的结果，在体积预测仅需约 3 万样本时就能超越，优于使用更多数据的 GNN 基线。

Figure 2 : Training data size needed by LLM-Prop to achieve state-of-the-art (SOTA) results on predicting different properties. For instance, LLM-Prop achieves SOTA results on prediciting band gap and volume with just about 90k training data ( $log_{10}90k\approx 4.95$ on the figure ) that correspon