[论文解读] Are LLMs Ready for Real-World Materials Discovery?

Santiago Miret, N. M. Anoop Krishnan|arXiv (Cornell University)|Feb 7, 2024

Machine Learning in Materials Science被引用 20

一句话总结

一篇立场论文，概述了材料科学中大语言模型当前的失败之处，提出基于领域知识的 MatSci-LLMs，并具备多模态、数据丰富的现实世界材料发现路线图。

ABSTRACT

Large Language Models (LLMs) create exciting possibilities for powerful language processing tools to accelerate research in materials science. While LLMs have great potential to accelerate materials understanding and discovery, they currently fall short in being practical materials science tools. In this position paper, we show relevant failure cases of LLMs in materials science that reveal current limitations of LLMs related to comprehending and reasoning over complex, interconnected materials science knowledge. Given those shortcomings, we outline a framework for developing Materials Science LLMs (MatSci-LLMs) that are grounded in materials science knowledge and hypothesis generation followed by hypothesis testing. The path to attaining performant MatSci-LLMs rests in large part on building high-quality, multi-modal datasets sourced from scientific literature where various information extraction challenges persist. As such, we describe key materials science information extraction challenges which need to be overcome in order to build large-scale, multi-modal datasets that capture valuable materials science knowledge. Finally, we outline a roadmap for applying future MatSci-LLMs for real-world materials discovery via: 1. Automated Knowledge Base Generation; 2. Automated In-Silico Material Design; and 3. MatSci-LLM Integrated Self-Driving Materials Laboratories.

研究动机与目标

• 界定材料科学为基础的大语言模型（MatSci-LLMs）的需求，并识别其当前局限性。
• 提出 MatSci-LLMs 的核心需求，包括扎根于领域知识和可解释的假设生成。
• 强调多模态材料科学信息提取中的数据与数据集挑战。
• 概述材料科学中自动化知识库生成、计算设计和自驱动实验室的路线图。

提出的方法

• 回顾材料科学中 LLM 的失败案例，以识别推理和扎根的差距。
• 基于领域知识和对研究者的增效，明确 MatSci-LLMs 的需求。
• 讨论跨文本、表格、图形、CIF 文件及其他格式的多模态数据提取挑战。
• 描述材料科学文献的数据收集、标注和数据集构建挑战。
• 提出一个务实的路线图和潜在界面，用于知识库生成、计算设计和自治实验的 MatSci-LLMs。

Figure 1: Overview of MatSci-LLM requirements related to knowledge acquisition and science acceleration. MatSci-LLMs require knowledge contained across multiple documents along multiple data modalities. Pertinent materials science knowledge includes understanding materials structure, properties and

实验结果

研究问题

• RQ1 当前 LLM 在应用于材料科学知识与推理时的关键局限性是什么？
• RQ2 MatSci-LLMs 需要满足哪些要求，才能有效帮助材料科学家进行假设生成和实验？
• RQ3 为了构建大规模的 MatSci-LLMs，必须解决哪些数据模态与提取挑战？
• RQ4 MatSci-LLMs 如何整合到包括自动化知识库、计算设计和自驱动实验室在内的端到端工作流？
• RQ5 在真实材料发现中部署 MatSci-LLMs 的可行路线图是什么？

主要发现

• LLMs 在特定领域的推理、数值锚定以及对材料结构和记号的正确解读方面存在困难。
• 当前材料科学数据高度多模态且依赖上下文，关键信息存在于表格、图形、CIF 文件以及相关文献中。
• 存在大量数据访问与标注挑战，包括付费墙、旧文献，以及非机器可读格式，阻碍 MatSci-LLMs 的训练。
• 将 LLMs 扎根于领域特定语言和记号是必需的，但由于该领域的多样性和缺乏标准记号而非平凡。
• 一个成功的 MatSci-LLM 需要将知识库、计算设计和自治实验执行等集成工作流联系起来。

Figure 2: Roadmap of a Mat-Sci LLM based materials discovery cycle. The cycle starts with materials query from a researcher that specifies desired properties or an application. The MatSci-LLM then draws from external and internal knowledge bases to generate a materials design hypothesis which is eva