[论文解读] Evaluating the Performance and Robustness of LLMs in Materials Science Q&A and Property Predictions

Hongchen Wang, Kangming Li+4 more|arXiv (Cornell University)|Sep 22, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本研究通过领域特定的问答与性质预测任务，评估了大语言模型（LLMs）在材料科学中的性能与鲁棒性。利用多个数据集和提示策略（包括 few-shot 上下文学习），研究人员识别出关键脆弱性，如提示扰动下的模式崩溃现象，以及对抗性输入操作带来的反直觉性能提升，凸显了在科学应用中谨慎部署及提升可靠性的必要性。

ABSTRACT

Large Language Models (LLMs) have the potential to revolutionize scientific research, yet their robustness and reliability in domain-specific applications remain insufficiently explored. In this study, we evaluate the performance and robustness of LLMs for materials science, focusing on domain-specific question answering and materials property prediction across diverse real-world and adversarial conditions. Three distinct datasets are used in this study: 1) a set of multiple-choice questions from undergraduate-level materials science courses, 2) a dataset including various steel compositions and yield strengths, and 3) a band gap dataset, containing textual descriptions of material crystal structures and band gap values. The performance of LLMs is assessed using various prompting strategies, including zero-shot chain-of-thought, expert prompting, and few-shot in-context learning. The robustness of these models is tested against various forms of 'noise', ranging from realistic disturbances to intentionally adversarial manipulations, to evaluate their resilience and reliability under real-world conditions. Additionally, the study showcases unique phenomena of LLMs during predictive tasks, such as mode collapse behavior when the proximity of prompt examples is altered and performance recovery from train/test mismatch. The findings aim to provide informed skepticism for the broad use of LLMs in materials science and to inspire advancements that enhance their robustness and reliability for practical applications.

研究动机与目标

• 评估 LLM 在领域特定材料科学任务（包括问答与性质预测）中的可靠性与鲁棒性。
• 研究不同提示扰动（从现实到对抗性）对 LLM 推理性能的影响。
• 探索在材料性质预测过程中 LLM 出现的意外行为，如模式崩溃与训练/测试不匹配效应。
• 在多个数据集上对开源与商业 LLM 进行基准测试，以识别性能边界与失效模式。
• 为 LLM 在材料科学研发流程中的负责任集成提供有根据的怀疑态度与可操作的见解。

提出的方法

• 在三个数据集上评估 LLM：MSE-MCQs（本科材料科学选择题）、matbench_steels（钢的成分与屈服强度）、以及包含晶体结构描述的带隙数据集。
• 应用多种提示策略：零样本思维链、专家提示与 few-shot 上下文学习，以优化性能。
• 系统性地引入五类文本扰动：单位混用、句子重排、同义词替换、干扰信息与冗余信息，以测试鲁棒性。
• 通过对 LLM-Prop 模型进行消融研究，通过改变输入结构（顺序、句子占比）并测量带隙预测的 MAE，分析其响应。
• 采用确定性与重复评估（每种条件执行三次）以应对 LLM 输出的非确定性，确保统计可靠性。
• 在描述中对数值进行预处理，使用 [NUM] 标记，以隔离 LLM-Prop 模型中的纯文本理解能力。

Figure 1: Schematic representation of the experiment design for performance evaluation and robustness analysis of LLMs. Yellow highlights the testing conducted in Q&A settings. Blue highlights the testing conducted in property prediction settings. Green represents the tests associated with performan

实验结果

研究问题

• RQ1 不同提示策略（如 few-shot 上下文学习）如何影响 LLM 在材料科学问答与性质预测中的性能？
• RQ2 LLM 对于现实与对抗性提示扰动（如句子重排或冗余数值信息）的鲁棒性如何？
• RQ3 在材料性质预测过程中，LLM 会涌现出哪些意外行为，如模式崩溃或因输入扰动导致的性能提升？
• RQ4 微调后的 LLM-Prop 模型对输入描述结构变化（如句子顺序反转或打乱）有何响应？
• RQ5 提示结构的训练/测试不匹配是否会导致预测性能提升？这对材料科学中模型泛化能力有何启示？

主要发现

• LLM 在真实世界扰动（如句子重排与冗余数值信息）下表现出显著性能下降，表明其在实际部署中存在脆弱性。
• 当输入示例与目标预测不相似时，few-shot 上下文学习中观察到模式崩溃，导致不同输入产生完全相同的输出。
• 令人意外的是，对抗性扰动（如句子打乱与随机化）反而提升了微调模型 LLM-Prop 在带隙预测中的准确性。
• 即使关键输入描述结构元素被移除，LLM-Prop 模型仍能保持或提升性能，表明其依赖于非局部或分布式特征。
• 性能显著受提示设计影响，单位混用与同义词替换导致明显准确率下降，凸显对语义与句法变化的敏感性。
• 本研究揭示 LLM 可表现出反直觉行为——如在对抗性条件下性能反而提升——这类现象在传统机器学习模型中并不存在，提示 LLM 具有独特的泛化动态。

Figure 2: LLM performance evaluation and prompt engineering enhancement in materials science Q&A using MSE-MCQs dataset. On each bar, the lighter color represents the performance of those models when introduced with the expert prompt. Error bars represent the standard deviation due to LLMs’ non-dete