[论文解读] A Prompt-Engineered Large Language Model, Deep Learning Workflow for Materials Classification

Siyu Liu, Tongqi Wen+2 more|arXiv (Cornell University)|Jan 31, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出了一种新颖的提示工程大型语言模型（LLM）增强深度学习工作流，用于材料分类，通过从LLM中蒸馏文本知识以提高模型准确率。通过提示工程生成合成文本数据并微调BERT模型，该方法在稀疏金属玻璃分类任务上的准确率相比传统模型最高提升了463%，整体准确率达到97.7%。

ABSTRACT

Large language models (LLMs) have demonstrated rapid progress across a wide array of domains. Owing to the very large number of parameters and training data in LLMs, these models inherently encompass an expansive and comprehensive materials knowledge database, far exceeding the capabilities of individual researcher. Nonetheless, devising methods to harness the knowledge embedded within LLMs for the design and discovery of novel materials remains a formidable challenge. We introduce a general approach for addressing materials classification problems, which incorporates LLMs, prompt engineering, and deep learning. Utilizing a dataset of metallic glasses as a case study, our methodology achieved an improvement of up to 463% in prediction accuracy compared to conventional classification models. These findings underscore the potential of leveraging textual knowledge generated by LLMs for materials especially in the common situation where datasets are sparse, thereby promoting innovation in materials discovery and design.

研究动机与目标

• 为解决无机材料分类中实验数据有限且稀疏的挑战，特别是针对金属玻璃等复杂体系。
• 开发一种可泛化的深度学习工作流，利用大型语言模型（LLM）的文本知识，而非仅依赖实验或模拟生成的特征。
• 通过整合LLM生成的文本数据与微调后的深度学习模型，提升分类准确率，尤其针对低资源类别。
• 建立一种通用且可迁移的材料分类框架，独立于特定数据格式或特征工程。
• 证明在数据稀缺领域中，使用LLM作为知识来源在材料发现中的可行性和优越性。

提出的方法

• 工作流从定义材料分类问题开始，例如识别金属玻璃形成类别（块状、带状、非带状）。
• 通过提示工程从预训练LLM中提取结构化、任务特定的知识，生成描述材料组成及其分类的合成文本数据。
• 将生成的文本数据进行分词，并输入到微调后的BERT模型中，该模型基于LLM衍生的文本特征学习材料分类。
• 应用位置嵌入技术，以增强模型捕捉文本输入中序列级模式的能力。
• 在合成文本-标签对上训练微调后的BERT模型，并在真实金属玻璃实验数据集上进行评估。
• 该方法在包含5,577个金属玻璃的的数据集上进行了验证，并与传统机器学习模型进行了性能对比。

实验结果

研究问题

• RQ1 LLM生成的文本知识是否能提升材料科学中的分类准确率，尤其是在实验数据稀缺的情况下？
• RQ2 提示工程在从LLM中提取可操作的、结构化的知识用于材料分类任务方面有多高效？
• RQ3 在低资源材料分类问题中，基于合成LLM生成文本微调的BERT模型在多大程度上优于传统机器学习模型？
• RQ4 该工作流是否可在不同材料和分类目标之间泛化，而无需大量重新训练或特征工程？
• RQ5 位置嵌入和提示优化对材料文本分类中模型性能的影响如何？

主要发现

• 所提出的工作流在5,577个样本的金属玻璃数据集上实现了97.7%的整体分类准确率，显著优于传统模型。
• 对于最小类别——块状金属玻璃（BMGs），仅占数据集的约11%，与传统机器学习模型相比，模型准确率提升了463%。
• 在完整分类任务中，基于LLM生成文本数据微调的BERT模型相比基线模型准确率提高了48%。
• 该方法在稀疏且类别不平衡的数据集上也表现出稳健性能，凸显其在低数据材料发现中的潜力。
• 将提示工程的LLM作为知识来源，实现了高质量的特征表示，无需手动特征工程或依赖模拟数据。
• 该工作流具有可泛化性，可适用于多种材料分类问题，包括稳定性、耐腐蚀性以及光电性能等。