[论文解读] Eliciting Knowledge from Language Models for Event Extraction.

Jiaju Lin, Jian Jin+1 more|arXiv (Cornell University)|Sep 11, 2021

Topic Modeling参考文献 21被引用 7

一句话总结

本文提出了一种基于联合提示的模型，用于从预训练语言模型中提取知识以进行事件抽取，特别针对触发词检测和论元抽取。通过使用定制化提示建模触发词与论元之间的交互，该方法在ACE2005基准测试中实现了最先进性能，尤其在训练数据极少的少样本设置下表现优异。

ABSTRACT

Eliciting knowledge contained in language models via prompt-based learning has shown great potential in many natural language processing tasks, such as text classification and generation. Whereas, the applications for more complex tasks such as event extraction are less studied, since the design of prompt is not straightforward due to the complicated types and arguments. In this paper, we explore to elicit the knowledge from pre-trained language models for event trigger detection and argument extraction. Specifically, we present various joint trigger/argument prompt methods, which can elicit more complementary knowledge by modeling the interactions between different triggers or arguments. The experimental results on the benchmark dataset, namely ACE2005, show the great advantages of our proposed approach. In particular, our approach is superior to the recent advanced methods in the few-shot scenario where only a few samples are used for training.

研究动机与目标

• 解决将基于提示的学习应用于涉及多种事件类型和论元的复杂事件抽取任务的挑战。
• 通过量身定制的提示联合建模触发词与论元，提升事件抽取性能。
• 探究基于提示的知识提取方法在低资源（少样本）设置下是否能超越现有方法。
• 设计能够捕捉事件触发词与其论元之间相互作用的有效提示，以提升泛化能力。

提出的方法

• 提出联合触发词/论元提示方法，同时激发模型在事件触发词检测和论元抽取两方面的知识。
• 设计专门的提示，编码事件触发词与其论元之间的关系，以建模其相互作用。
• 利用预训练语言模型基于提示模板生成预测，利用上下文学习能力。
• 采用少样本微调策略，使用极少的标注样本对模型进行适应。
• 整合多种提示变体，以探索语言模型中互补的知识。
• 在ACE2005基准数据集上应用该方法，评估标准设置和少样本设置下的性能。

实验结果

研究问题

• RQ1 基于提示的学习能否有效从语言模型中提取知识以完成复杂事件抽取任务？
• RQ2 通过提示联合建模触发词与论元，相较于独立建模，能否显著提升抽取性能？
• RQ3 所提出方法在低资源（少样本）场景下的泛化能力如何？
• RQ4 提示设计对捕捉事件触发词与论元之间相互作用的影响有多大？

主要发现

• 所提出的联合提示方法在ACE2005基准测试中实现了事件抽取的最先进性能。
• 在训练数据有限的少样本学习场景下，该方法显著优于近期先进的方法。
• 通过提示实现触发词与论元的联合建模，可产生更互补且更准确的预测结果。
• 能够捕捉事件元素之间相互作用的提示设计，显著提升了整体抽取质量。