[论文解读] Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction

Hui-Syuan Yeh, Thomas Lavergne+1 more|arXiv (Cornell University)|Apr 21, 2022

Topic Modeling被引用 7

一句话总结

该论文提出了一种系统化、自动化的生物医学关系抽取提示设计方法，通过使用BioMed-RoBERTa-base将关系抽取转化为完形填空任务。在ChemProt数据集上，该方法相比标准微调方法F1提升14.21点，相比先前最先进方法（SciFive-Large）提升1.14 F1点，展现出优异的 few-shot 性能和在极小训练数据下的鲁棒性。

ABSTRACT

Relation extraction is a core problem for natural language processing in the biomedical domain. Recent research on relation extraction showed that prompt-based learning improves the performance on both fine-tuning on full training set and few-shot training. However, less effort has been made on domain-specific tasks where good prompt design can be even harder. In this paper, we investigate prompting for biomedical relation extraction, with experiments on the ChemProt dataset. We present a simple yet effective method to systematically generate comprehensive prompts that reformulate the relation extraction task as a cloze-test task under a simple prompt formulation. In particular, we experiment with different ranking scores for prompt selection. With BioMed-RoBERTa-base, our results show that prompting-based fine-tuning obtains gains by 14.21 F1 over its regular fine-tuning baseline, and 1.14 F1 over SciFive-Large, the current state-of-the-art on ChemProt. Besides, we find prompt-based learning requires fewer training examples to make reasonable predictions. The results demonstrate the potential of our methods in such a domain-specific relation extraction task.

研究动机与目标

• 通过提示学习而非标准微调来提升生物医学关系抽取的性能。
• 开发一种系统化、自动化的提示生成方法，无需人工参与。
• 在ChemProt数据集上评估提示设计在全量数据和few-shot设置下的有效性。
• 利用多种排序分数识别最优提示选择策略。
• 证明提示学习可减少数据需求，同时在特定领域NLP任务中保持高性能。

提出的方法

• 通过在关系标签处添加掩码构建模板，将关系抽取重新定义为完形填空任务。
• 使用模板化框架系统性地生成多样化提示，同时保持句法和语义一致性。
• 利用多种排序分数（如词汇相似度、基于BERT的相似度和置信度分数）选择最有效的提示。
• 使用选定的提示在ChemProt数据集上微调BioMed-RoBERTa-base，而非采用标准微调方法。
• 在全量数据和few-shot训练设置下评估性能，以评估泛化能力和数据效率。
• 通过F1分数将结果与标准微调方法和当前SOTA模型（SciFive-Large）进行对比。

实验结果

研究问题

• RQ1 与标准微调相比，基于提示的学习是否能显著提升生物医学文本中的关系抽取性能？
• RQ2 一种自动化、系统化的提示生成方法在消除特定领域任务中的人工提示工程方面有多有效？
• RQ3 在few-shot设置下，基于提示的学习是否能以更少的训练样本保持高性能？
• RQ4 在生物医学关系抽取中，哪种提示选择策略——词汇相似度、基于嵌入的相似度或置信度——能取得最佳性能？
• RQ5 在ChemProt基准上，基于提示的学习与当前最先进模型（SciFive-Large）相比表现如何？

主要发现

• 基于提示的微调在ChemProt数据集上相比标准微调方法F1提升了14.21点。
• 该方法在F1上超越了先前SOTA模型SciFive-Large 1.14点，成为ChemProt数据集上的新SOTA。
• 即使在few-shot设置下，模型仍保持了强劲性能，表明其对数据的依赖性低于标准微调方法。
• 使用多种排序分数进行提示选择显著提升了性能，其中基于置信度和基于BERT的分数表现出极强的有效性。
• 无需人工干预的系统化提示生成方法取得了具有竞争力的结果，证明了其在特定领域NLP任务中的可扩展性和效率。
• 完形填空提示设计有效将关系抽取任务转化为掩码语言建模目标，使预训练模型能够直接适配。