[论文解读] DEGREE: A Data-Efficient Generative Event Extraction Model

I-Hung Hsu, Kuan-Hao Huang+5 more|arXiv (Cornell University)|Aug 29, 2021

Topic Modeling参考文献 24被引用 15

一句话总结

该论文提出DEGREE，一种数据高效事件抽取模型，将事件抽取任务表述为使用事件类型特定模板的文本生成任务。通过利用预训练、自回归生成和结构化模板，DEGREE在低数据环境下实现了最先进性能，并在更多数据条件下也表现出具有竞争力的结果，优于强基线模型在数据稀缺设置下的表现。

ABSTRACT

Event extraction (EE) aims to identify structured events, including event triggers and their corresponding arguments, from unstructured text. Most of the existing works rely on a large number of labeled instances to train models, while the labeled data could be expensive to be obtained. In this work, we present a data-efficient event extraction method by formulating event extraction as a natural language generation problem. The formulation allows us to inject knowledge of label semantics, event structure, and output dependencies into the model. Given a passage and an event type, our model learns to summarize this passage into a templated sentence in a predefined structure. The template is event-type-specific, manually created, and contains event trigger and argument information. Lastly, a rule-based algorithm is used to derive the trigger and argument predictions from the generated sentence. Our method inherently enjoys the following benefits: (1) The pretraining of the generative language models help incorporate the semantics of the labels for generative EE. (2) The autoregressive generation process and our end-to-end design for extracting triggers and arguments force the model to capture the dependencies among the output triggers and their arguments. (3) The predefined templates form concrete yet flexible rules to hint the models about the valid patterns for each event type, reducing the models' burden to learn structures from the data. Empirical results show that our model achieves superior performance over strong baselines on EE tasks in the low data regime and achieves competitive results to the current state-of-the-art when more data becomes available.

研究动机与目标

• 通过减少对大规模标注数据集的依赖，解决事件抽取中的高标注成本问题。
• 通过在学习过程中注入结构化和语义知识，提升模型在低资源环境下的泛化能力。
• 通过统一的生成式框架实现事件触发词和论元的端到端联合抽取。
• 通过使用人工设计的、与事件类型相关的模板，减轻模型从数据中学习事件结构的负担。
• 通过自回归生成增强输出依赖性建模，捕捉触发词与论元之间的关系。

提出的方法

• 将事件抽取表述为序列到序列的生成任务，模型生成描述事件的模板化句子。
• 使用事件类型特定的、人工设计的模板，嵌入触发词和论元占位符以实现结构化输出。
• 利用预训练的生成式语言模型，将标签语义和上下文理解注入生成过程。
• 采用自回归生成机制，端到端地建模触发词与论元之间的依赖关系。
• 应用基于规则的后处理步骤，从生成的句子中提取预测的触发词和论元。
• 通过模板引入结构归纳偏置，引导模型生成有效事件模式，而无需大量数据。

实验结果

研究问题

• RQ1 将事件抽取表述为文本生成任务是否能提升低资源环境下的数据效率？
• RQ2 预定义的、与事件类型相关的模板在引导模型生成和提升性能方面有多有效？
• RQ3 自回归生成在捕捉事件触发词与论元之间依赖关系方面有多大帮助？
• RQ4 通过预训练和模板注入标签语义与结构知识，是否能带来更好的泛化性能？
• RQ5 在低数据和高数据场景下，该方法与强基线相比表现如何？

主要发现

• 在低数据环境下，DEGREE在事件抽取任务上显著优于强基线模型。
• 当有更多标注数据时，该模型仍能保持与最先进方法相当的性能。
• 模板的使用显著降低了模型从数据中学习事件结构的需求，提升了数据效率。
• 与非生成方法相比，自回归生成能更好地建模触发词与论元之间的依赖关系。
• 在大规模文本上进行预训练有助于模型捕捉标签语义，从而增强低资源环境下的泛化能力。
• 基于规则的后处理步骤能以高保真度有效从生成句子中提取结构化预测结果。