[论文解读] Event Extraction as Natural Language Generation

I-Hung Hsu, Kuan-Hao Huang+5 more|arXiv (Cornell University)|Aug 29, 2021

Topic Modeling参考文献 26被引用 6

一句话总结

本文提出 GenEE，一种新颖的事件抽取模型，将任务形式化为自然语言生成，通过自回归生成利用标签语义，实现对未见或罕见事件类型的更好泛化。GenEE 基于事件模板生成自然语言句子，随后解码为触发词和论元，实现在高资源设置下的最先进性能，以及强大的零样本和少样本泛化能力。

ABSTRACT

Event extraction (EE), the task that identifies event triggers and their arguments in text, is usually formulated as a classification or structured prediction problem. Such models usually reduce labels to numeric identifiers, making them unable to take advantage of label semantics (e.g. an event type named Arrest is related to words like arrest, detain, or apprehend). This prevents the generalization to new event types. In this work, we formulate EE as a natural language generation task and propose GenEE, a model that not only captures complex dependencies within an event but also generalizes well to unseen or rare event types. Given a passage and an event type, GenEE is trained to generate a natural sentence following a predefined template for that event type. The generated output is then decoded into trigger and argument predictions. The autoregressive generation process naturally models the dependencies among the predictions -- each new word predicted depends on those already generated in the output sentence. Using carefully designed input prompts during generation, GenEE is able to capture label semantics, which enables the generalization to new event types. Empirical results show that our model achieves strong performance on event extraction tasks under all zero-shot, few-shot, and high-resource scenarios. Especially, in the high-resource setting, GenEE outperforms the state-of-the-art model on argument extraction and gets competitive results with the current best on end-to-end EE tasks.

研究动机与目标

• 解决传统事件抽取模型将标签简化为数值标识符所导致的语义信息丢失问题，从而阻碍对新事件类型的泛化。
• 通过捕捉事件类型与其词汇实现之间的语义关系（例如，'arrest' 与 'detain'），提升对罕见或未见事件类型的泛化能力。
• 开发一个统一框架，在无需任务特定微调的情况下，同时在零样本、少样本和高资源设置下表现良好。
• 通过利用序列生成的自回归特性，建模事件触发词与论元之间的复杂依赖关系。
• 通过语义感知生成，实现端到端事件抽取，并提升论元抽取性能。

提出的方法

• 将事件抽取形式化为自然语言生成任务：给定一段文本和一个事件类型，生成符合该事件类型预定义模板的自然语言句子。
• 使用自回归序列模型（例如 T5 或类似模型）生成输出句子，其中每个词依赖于先前生成的词，从而建模预测之间的依赖关系。
• 设计显式编码事件类型和上下文的输入提示，使模型能够关注相关语义线索（例如，'arrest' 触发 'arrested'、'detained'、'apprehended' 等）。
• 通过基于规则或神经对齐的方法，识别生成句子中对应于事件触发词和论元的词元跨度，实现对生成句子的解码。
• 在标准事件抽取数据集上使用序列到序列目标对模型进行微调，模板设计旨在保留事件类型的语义信息。
• 利用预训练语言模型注入语义泛化的归纳偏置，使模型无需微调即可实现对新事件类型的零样本和少样本迁移。

实验结果

研究问题

• RQ1 事件抽取能否被有效重构为自然语言生成任务，以提升对未见或罕见事件类型的泛化能力？
• RQ2 基于生成的模型在捕捉事件类型与其词汇实现之间语义关系（例如 'arrest' 与 'detain'）方面表现如何？
• RQ3 自回归生成过程是否能比结构化预测更有效地自然建模事件触发词与论元之间的依赖关系？
• RQ4 与现有基于分类的方法相比，该模型在零样本、少样本和高资源设置下的表现如何？
• RQ5 该模型能否在无需任务特定适配的情况下，实现论元抽取和端到端事件抽取的最先进性能？

主要发现

• GenEE 在高资源设置下的论元抽取任务中达到最先进性能，优于当前最先进模型。
• GenEE 在端到端事件抽取任务中取得具有竞争力的结果，展现出强大的整体有效性。
• 由于能够通过提示驱动生成利用标签语义，该模型对未见或罕见事件类型表现出良好的泛化能力。
• 在零样本和少样本场景中，GenEE 表现强劲，表明通过语义感知生成实现了有效的迁移学习。
• 自回归生成过程有效建模了事件触发词与论元之间的依赖关系，提升了联合预测质量。
• 精心设计的输入提示使模型能够捕捉事件类型的语义细微差别，从而在数值标签编码之外实现更强的泛化能力。