[论文解读] AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

Xiang Chen, Xin Xie+7 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 13被引用 35

一句话总结

AdaPrompt 通过将关系抽取任务重新表述为掩码语言建模任务，提出了一种基于自适应提示的微调方法。它动态选择可变长度的标签标记，并整合了一个辅助实体判别器以改善上下文表征，在基准数据集的少样本和监督设置下均取得了最先进性能。

ABSTRACT

In this paper, we reformulate the relation extraction task as mask language modeling and propose a novel adaptive prompt-based finetuning approach. We propose an adaptive label words selection mechanism that scatters the relation label into variable number of label tokens to handle the complex multiple label space. We further introduce an auxiliary entity discriminator object to encourage the model to focus on context representation learning. Extensive experiments on benchmark datasets demonstrate that our approach can achieve better performance on both the few-shot and supervised setting.

研究动机与目标

• 为解决关系抽取中复杂、多关系标签空间的挑战，通过实现灵活、自适应的标签表征来应对。
• 通过引入辅助实体判别器，改进关系抽取模型中的上下文表征学习。
• 通过根据标签复杂度自适应调整提示设计，提升模型在低资源（少样本）场景下的泛化能力。
• 将基于提示的微调与掩码语言建模统一，以更好地对齐预训练语言模型的归纳偏置。

提出的方法

• 通过在输入序列周围插入可学习的提示标记，将关系抽取重新表述为掩码语言建模任务。
• 引入一种自适应标签词选择机制，根据标签复杂度将每个关系标签映射为可变长度的标记序列。
• 采用辅助实体判别器损失，以促使模型更有效地关注实体提及及其上下文。
• 使用联合目标（掩码语言建模损失与实体判别器损失）进行端到端训练。
• 以预训练语言模型（如 BERT）作为主干网络，在微调过程中联合优化提示嵌入与标签词嵌入。
• 应用动态标签分词策略，相较于固定长度的提示设计，能更有效地处理长尾和多标记关系标签。

实验结果

研究问题

• RQ1 与固定长度提示设计相比，自适应的可变长度标签标记是否能提升关系抽取的性能？
• RQ2 引入辅助实体判别器对基于提示的微调中的上下文表征学习有何影响？
• RQ3 AdaPrompt 在少样本关系抽取设置下的泛化能力如何？
• RQ4 掩码语言建模与自适应提示微调的结合是否能更好地对齐预训练模型的归纳偏置？

主要发现

• AdaPrompt 在标准基准数据集的少样本和监督关系抽取设置下均取得了最先进性能。
• 自适应标签词选择机制通过根据标签复杂度动态调整每类标签的标记数量，有效处理了复杂、多标记的关系标签。
• 辅助实体判别器显著提升了模型在预测过程中聚焦于相关上下文和实体跨度的能力。
• 该方法在低资源场景下表现出强大的泛化能力，在少样本评估协议中优于基线方法。