[论文解读] MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models

Mohd Zaki, Jayadeva+2 more|arXiv (Cornell University)|Aug 17, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出了 MaScQA，一个包含 650 道从 GATE 考试中精选的研究生水平材料科学问题的问答数据集，用于评估大语言模型（LLMs）在特定领域知识方面的能力。GPT-4 在零样本提示下的准确率为 62%，但思维链（chain-of-thought）提示并未带来显著改进，其中概念性错误（64%）是性能的主要限制因素，而非计算性错误（36%）。

ABSTRACT

Information extraction and textual comprehension from materials literature are vital for developing an exhaustive knowledge base that enables accelerated materials discovery. Language models have demonstrated their capability to answer domain-specific questions and retrieve information from knowledge bases. However, there are no benchmark datasets in the materials domain that can evaluate the understanding of the key concepts by these language models. In this work, we curate a dataset of 650 challenging questions from the materials domain that require the knowledge and skills of a materials student who has cleared their undergraduate degree. We classify these questions based on their structure and the materials science domain-based subcategories. Further, we evaluate the performance of GPT-3.5 and GPT-4 models on solving these questions via zero-shot and chain of thought prompting. It is observed that GPT-4 gives the best performance (~62% accuracy) as compared to GPT-3.5. Interestingly, in contrast to the general observation, no significant improvement in accuracy is observed with the chain of thought prompting. To evaluate the limitations, we performed an error analysis, which revealed conceptual errors (~64%) as the major contributor compared to computational errors (~36%) towards the reduced performance of LLMs. We hope that the dataset and analysis performed in this work will promote further research in developing better materials science domain-specific LLMs and strategies for information extraction.

研究动机与目标

• 开发一个基准数据集，用于评估大语言模型（LLMs）在材料科学概念理解方面的能力。
• 评估通用大语言模型（如 GPT-3.5 和 GPT-4）在需要研究生水平知识的复杂、特定领域问题上的表现。
• 探究思维链提示是否能提升 LLM 在材料科学推理任务中的表现。
• 识别限制 LLM 在材料科学领域表现的主要因素，特别是概念性错误与计算性错误的相对影响。

提出的方法

• 从研究生入学资格考试（GATE）中精选了 650 道具有挑战性的材料科学问题，要求的知识水平相当于完成本科学习材料科学课程。
• 根据问题的结构复杂度（如单选题、数值题、概念题）和领域子类别（如热力学、力学行为、原子结构）对问题进行分类。
• 使用零样本提示和思维链（CoT）提示评估 GPT-3.5 和 GPT-4 的推理能力与准确性。
• 通过错误分析将错误回答分类为概念性错误和计算性错误，量化其对模型失败的贡献。
• 使用基于 API 的推理获取模型预测结果，并与标准答案进行对比以进行评估。
• 识别了在多个领域中反复出现的错误模式，如应力-应变行为、XRD 分析、相变和热力学计算。

实验结果

研究问题

• RQ1 通用大语言模型在复杂、研究生水平的材料科学问题上的表现如何？
• RQ2 思维链提示能否提升 LLM 在材料科学问答任务中的推理与准确性？
• RQ3 在材料科学领域，限制 LLM 表现的主要因素是概念性错误还是计算性错误？
• RQ4 LLM 在哪些材料科学子领域表现最弱，原因是什么？

主要发现

• GPT-4 在使用零样本提示时于 MaScQA 数据集上取得了约 62% 的最高准确率，优于 GPT-3.5。
• 思维链提示并未带来统计上显著的性能提升，表明该数据集下其收益有限。
• 概念性错误占错误回答的 64%，而计算性错误占 36%，凸显了在特定领域推理方面存在重大差距。
• 错误率最高的子领域为热力学（46% 错误）、原子/晶体结构（42% 错误）和相变（41% 错误），表明模型在这些领域理解薄弱。
• LLM 在 X 射线衍射解析、断裂力学、蠕变行为和磁性性质计算方面表现困难，反映出理论与实验概念整合能力差。
• 结果表明，有必要通过在特定领域数据上微调 LLM 或开发专用提示策略，以提升其在材料科学应用中的表现。