[论文解读] Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT

Tong Xie, Yuwei Wan+9 more|arXiv (Cornell University)|Apr 5, 2023

Machine Learning in Materials Science被引用 15

一句话总结

本论文提出结构化信息推断（SII），并显示在 perovskite 太阳能电池评审数据集上微调 GPT-3 能实现高精度的设备级信息抽取，并促进下游数据分析与器件性能预测。并且展示了在命名实体识别/关系抽取/事件关系/信息推断方面相对于 GPT-3.5 的优越性能，并讨论数据集构建与 MDP 任务。

ABSTRACT

The amount of data has growing significance in exploring cutting-edge materials and a number of datasets have been generated either by hand or automated approaches. However, the materials science field struggles to effectively utilize the abundance of data, especially in applied disciplines where materials are evaluated based on device performance rather than their properties. This article presents a new natural language processing (NLP) task called structured information inference (SII) to address the complexities of information extraction at the device level in materials science. We accomplished this task by tuning GPT-3 on an existing perovskite solar cell FAIR (Findable, Accessible, Interoperable, Reusable) dataset with 91.8% F1-score and extended the dataset with data published since its release. The produced data is formatted and normalized, enabling its direct utilization as input in subsequent data analysis. This feature empowers materials scientists to develop models by selecting high-quality review articles within their domain. Additionally, we designed experiments to predict the electrical performance of solar cells and design materials or devices with targeted parameters using large language models (LLMs). Our results demonstrate comparable performance to traditional machine learning methods without feature selection, highlighting the potential of LLMs to acquire scientific knowledge and design new materials akin to materials scientists.

研究动机与目标

• 解决从非结构化材料文献中提取设备级信息的挑战。
• 定义并实现一个新的 NLP 任务，称为结构化信息推断（SII）。
• 在 perovskite 太阳能电池 FAIR 数据集上微调 GPT-3，以产生结构化、规范化的输出。
• 演示 SII 输出如何为下游分析和设备级预测提供初始输入。

提出的方法

• 将一个大型材料科学语料库转换为适合 GPT-3 微调的纯文本模式（plain-text schema）。
• 创建一个模糊匹配管线以将模式与底层文本对齐并选择高匹配样本。
• 在 31 个关键值模式输出上，对 4 种任务类型（NER、ER、RE、II）微调 175B 的 GPT-3 模型（davinci）。
• 通过将输出与专家标注目标进行多任务评估来评估 SII，并辅以人工领域专家评估。
• 将微调后的 GPT-3 与 GPT-3.5 进行比较，以确立在设备级信息提取及专门下游任务上的提升。

实验结果

研究问题

• RQ1 微调的大语言模型是否能够执行结合 NER、ER、RE 与 II 的设备级结构化信息推断？
• RQ2 在 perovskite 太阳能电池数据上，微调的 GPT-3 相较于 GPT-3.5 在 SII 任务上的表现如何？
• RQ3 生成的模式输出能否直接作为下游数据分析与建模的输入？
• RQ4 该框架是否能够从文献派生的数据中实现设备性能预测（MDP）任务？

主要发现

• 微调后的模型在 NER（总 F1 1 91.8 对 28.7）和 RE 任务（例如 A-B 的 F1 为 89.39 对 6.67）的表现显著优于 GPT-3.5。
• 在人工评估中，微调模型获得显著更高的整体分数（94.1 对 GPT-3.5 的 72.1）。
• RE 结果在 A-B、A-C 和 ABC-D 关系上表现强劲，微调模型的 F1 分别为 89.39、82.33 和 68.49，而 GPT-3.5 的得分要低得多。
• II/ER 结果显示 II（91.80）和 ER（单位 69.23，术语 87.18）对微调模型均具有较高准确率。
• 研究发现对模式学习的学习速度快，数据效率高；前 50 个样本就观察到显著提升，约在 100 个样本后收益递减。