[论文解读] Less can be more for predicting properties with large language models

Nawaf Alampara, Santiago Miret+1 more|arXiv (Cornell University)|Jun 25, 2024

Machine Learning in Materials Science被引用 13

一句话总结

论文引入 mattext，这是一个基准和框架，用于研究基于文本的材料表征在性质预测中的应用，结果显示增加几何信息和扩大预训练规模通常并不能提升基于LLM的材料性质预测。研究发现局部性是一种强有效的归纳偏置，并揭示当前仅文本方法在利用晶体几何方面的局限性。

ABSTRACT

Predicting properties from coordinate-category data -- sets of vectors paired with categorical information -- is fundamental to computational science. In materials science, this challenge manifests as predicting properties like formation energies or elastic moduli from crystal structures comprising atomic positions (vectors) and element types (categorical information). While large language models (LLMs) have increasingly been applied to such tasks, with researchers encoding structural data as text, optimal strategies for achieving reliable predictions remain elusive. Here, we report fundamental limitations in LLM's ability to learn from coordinate information in coordinate-category data. Through systematic experiments using synthetic datasets with tunable coordinate and category contributions, combined with a comprehensive benchmarking framework (MatText) spanning multiple representations and model scales, we find that LLMs consistently fail to capture coordinate information while excelling at category patterns. This geometric blindness persists regardless of model size (up to 70B parameters), dataset scale (up to 2M structures), or text representation strategy. Our findings suggest immediate practical implications: for materials property prediction tasks dominated by structural effects, specialized geometric architectures consistently outperform LLMs by significant margins, as evidenced by a clear "GNN-LM wall" in performance benchmarks. Based on our analysis, we provide concrete guidelines for architecture selection in scientific machine learning, while highlighting the critical importance of understanding model inductive biases when tackling scientific prediction problems.

研究动机与目标

• 推动建立一个标准化、基于文本的材料表征框架，以便对语言模型进行系统性基准评测。
• 开发 mattext 表征及软件工具，将晶体结构转换为文本，并具备可控的归纳偏置。
• 创建一个全面、可扩展的数据集与基准，覆盖多种表示，以评估使用LLMs进行材料性质预测的能力。
• 分析不同表示和数据/模型规模对预测性能的影响，强调局部性和几何信息。
• 提供对当前基于文本的材料科学建模方法局限性的见解，并提出改进表示和基准的方向。

提出的方法

• 定义九种基于文本的固态材料表征，其中包含五种新颖表征，每种都嵌入不同的归纳偏置。
• 从 NOMAD 汇总预训练和微调数据，符合 MatBench 的约定并提供标准分割（30k、100k、300k、2M；测试集 20k）。
• 将 mattext 作为面向对象的框架实现，包含分词器、解码器和鲁棒性工具，将晶体结构翻译为文本。
• 在 mattext 表征上对编码器为主的和解码器为主的变换模型（如 BERT、Llama-3）进行预训练和微调，以执行性质预测任务。
• 在不同表示、数据规模和架构下评估模型，以评估对组合信息与几何信息的依赖程度。
• 使用一个物理学启发的假设势来分离组成与几何的贡献，并探测模型对几何信息的敏感性。

Figure 1: Overview of the \mattext framework. For \mattext , we compile pretraining and fine-tuning data and implement text representations of crystal structures with different inductive biases in a standardized, object-oriented framework. We use the data and text representations to build a property

实验结果

研究问题

• RQ1 不同的基于文本的晶体结构表示如何影响材料性质预测的语言模型性能？
• RQ2 在使用文本表示时，增加预训练数据或模型规模是否会提升下游材料性质预测？
• RQ3 LLMs在多大程度上能利用文本表示中编码的几何/位置信息来处理固体？
• RQ4 局部性是否比显式几何对材料属性预测具有更强的归纳偏置？
• RQ5 像 mattext 这样的框架是否能揭示基于文本的方法的根本缺陷，并引导更好的表示？

主要发现

• 当前的LLMs在跨表示的材料建模中持续难以捕捉对几何信息所必需的特征。
• 预训练数据规模或模型规模的扩展对下游材料性质任务的收益有限或呈现混合效果。
• 强调局部环境的表示（局部性偏置）在性能上可与几何信息丰富的表示相当，表明模型更多依赖局部信息。
• 某些缺乏显式几何信息的表征（如 SLICES）也能达到与信息量较高的表示相当的效果，表明当前模型并未稳定地利用额外的几何细节。
• 微调解码器为主的LLMs（如 Llama-3）往往不会使位置信息变得有用，某些数据集上显式位置信息甚至会降低性能。
• mattext 框架暴露了基于文本的材料建模的弱点，并指向以局部化、粗粒度表示为导向的潜在方向。

Figure 2: \mattext -BERT scaling cross-validation scores. We pretrained BERT models with increasing pretraining dataset sizes (indicated in color) and fine-tuned them for material property prediction tasks using different material text representations. The error bars indicate the standard deviation