[论文解读] MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling

Yu Song, Santiago Miret+1 more|arXiv (Cornell University)|May 14, 2023

Topic Modeling被引用 4

一句话总结

本文提出了 MatSci-NLP，一个使用文本到模式提示技术评估 NLP 模型在材料科学任务上表现的基准。结果表明，领域特定的预训练（例如 MatBERT）以及受问答启发的新型任务-模式输入格式，显著提升了低资源环境下的性能，优于在七个材料科学 NLP 任务中采用的标准微调方法。

ABSTRACT

We present MatSci-NLP, a natural language benchmark for evaluating the performance of natural language processing (NLP) models on materials science text. We construct the benchmark from publicly available materials science text data to encompass seven different NLP tasks, including conventional NLP tasks like named entity recognition and relation classification, as well as NLP tasks specific to materials science, such as synthesis action retrieval which relates to creating synthesis procedures for materials. We study various BERT-based models pretrained on different scientific text corpora on MatSci-NLP to understand the impact of pretraining strategies on understanding materials science text. Given the scarcity of high-quality annotated data in the materials science domain, we perform our fine-tuning experiments with limited training data to encourage the generalize across MatSci-NLP tasks. Our experiments in this low-resource training setting show that language models pretrained on scientific text outperform BERT trained on general text. MatBERT, a model pretrained specifically on materials science journals, generally performs best for most tasks. Moreover, we propose a unified text-to-schema for multitask learning on \benchmark and compare its performance with traditional fine-tuning methods. In our analysis of different training methods, we find that our proposed text-to-schema methods inspired by question-answering consistently outperform single and multitask NLP fine-tuning methods. The code and datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-ACL23}.

研究动机与目标

• 为解决材料科学文本中缺乏全面且标准化的 NLP 模型评估基准，尤其是在低资源环境下的问题。
• 研究预训练策略（特别是领域特定、通用科学及通用语言预训练）对材料科学 NLP 任务下游性能的影响。
• 设计并评估一种统一的文本到模式框架，用于多任务学习，以提升模型在多样化材料科学 NLP 任务中的泛化能力与性能。
• 比较传统微调与新型基于模式的提示方法的有效性，特别是在标注数据有限的场景下。

提出的方法

• 构建了 MatSci-NLP 基准，包含七个不同的 NLP 任务，如命名实体识别、关系分类和合成操作检索，均基于公开的材料科学文本。
• 设计了多种受问答启发的文本输入模式，以指导模型输入，包括任务特定和多任务格式，以提升学习效率。
• 提出了一种新的任务-模式输入格式，用于联合多任务训练，通过结构化的问答风格提示统一各类任务的输入。
• 在低数据条件下，对多种基于 BERT 的模型（从通用 BERT 到领域特定模型如 MatBERT 和 SciBERT）在 MatSci-NLP 基准上进行了微调。
• 使用标准 NLP 指标（如 F1 和准确率）评估所有任务中的模型性能，比较基于模式的提示与单任务及多任务微调的效果。
• 为所提出的文本到模式方法采用统一的编码器-解码器架构，支持在不同领域和任务中实现模块化适配。

Figure 1: Example of different question-answering inspired textual input schemas (Task-Schema , Potential Choices, Example) applied on MatSci-NLP. The input of the language model includes the shared text (green) along with relevant task details (blue for NER and orange for event extraction). The sha

实验结果

研究问题

• RQ1 与通用或科学领域预训练相比，语言模型在材料科学 NLP 任务上的性能如何受到领域内预训练的影响？
• RQ2 不同文本输入模式（尤其是受问答启发的模式）在低资源环境下如何影响学习效率与模型性能？
• RQ3 统一的文本到模式多任务框架是否能在多样化材料科学 NLP 任务中超越传统的单任务与多任务微调方法？
• RQ4 领域特定预训练与结构化输入模式在多大程度上提升了材料科学 NLP 应用中的泛化能力与鲁棒性？

主要发现

• MatBERT 是一种在材料科学期刊上专门预训练的 BERT 模型，在 MatSci-NLP 基准的大多数任务中均表现出最高性能。
• 在科学语料上预训练的语言模型（如 SciBERT）优于通用领域 BERT，在某些情况下甚至优于其他领域特定模型（如 MatSciBERT 和 BatteryBERT）。
• 所提出的任务-模式输入格式（受问答启发）在所有评估的模型和任务中，均优于单任务和标准多任务微调。
• 文本到模式提示显著提升了低资源环境下的模型泛化能力，表明结构化输入设计的影响可与模型架构或预训练数据相媲美。
• 研究发现，采用任务-模式方法微调的模型在所有任务上的平均 F1 分数高于传统微调方法，表明学习效率得到提升。
• 尽管数据有限，结果表明精心设计的模式可减轻记忆化风险，并促进模型理解，而不仅限于简单的模式匹配。

Figure 2: Unified text-to-schema method for MatSci-NLP text understanding applied across the seven tasks. The language model includes a domain specific encoder, which can be exchanged in a modular manner, as well as a general language pretrained transformer decoder.