[论文解读] Document-level Event-based Extraction Using Generative Template-filling Transformers.

Xinya Du, Alexander M. Rush+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 28被引用 13

一句话总结

本文提出了一种基于生成式Transformer的编码器-解码器框架，用于文档级事件抽取，能够建模跨句子边界的上下文，隐式捕捉共指关系，并尊重模板结构。在MUC-4数据集上的评估表明，通过利用跨句子上下文和隐式语言知识，该方法实现了最先进性能，优于以往的句子级方法。

ABSTRACT

We revisit the classic information extraction problem of document-level template filling. We argue that sentence-level approaches are ill-suited to the task and introduce a generative transformer-based encoder-decoder framework that is designed to model context at the document level: it can make extraction decisions across sentence boundaries; is \emph{implicitly} aware of noun phrase coreference structure, and has the capacity to respect cross-role dependencies in the template structure. We evaluate our approach on the MUC-4 dataset, and show that our model performs substantially better than prior work. We also show that our modeling choices contribute to model performance, e.g., by implicitly capturing linguistic knowledge such as recognizing coreferent entity mentions. Our code for the evaluation script and models will be open-sourced at https://github.com/xinyadu/doc_event_entity for reproduction purposes.

研究动机与目标

• 解决句子级信息抽取在捕捉文档级上下文方面的局限性。
• 开发一种可在句子边界之间做出抽取决策的方法。
• 隐式建模事件模板中的名词短语共指关系和跨角色依赖。
• 通过利用长距离上下文和结构感知能力，提升模板填充性能。
• 证明生成式建模在文档级事件抽取上可优于传统序列标注方法。

提出的方法

• 使用基于Transformer的编码器-解码器架构，直接从文档文本生成事件模板。
• 利用自回归生成过程建模句子之间以及模板中角色的依赖关系。
• 采用序列到序列框架，基于完整文档上下文进行事件抽取。
• 通过训练期间学习提及表示，隐式捕捉共指关系，无需显式共指解析模块。
• 通过以结构化顺序自回归生成槽位值，建模模板中的跨角色依赖。
• 采用端到端训练，使用序列生成目标，使模型能够学习上下文和结构模式。

实验结果

研究问题

• RQ1 生成式序列到序列模型是否能在文档级事件抽取上优于传统的句子级抽取方法？
• RQ2 生成式模型在不显式建模的情况下，隐式学习共指解析的能力有多强？
• RQ3 该模型在捕捉事件模板中跨角色依赖方面的有效性如何？
• RQ4 在文档级别建模上下文是否显著提升了抽取性能？
• RQ5 长距离上下文和结构感知能力对最终结果的贡献是什么？

主要发现

• 所提模型在MUC-4数据集上实现了最先进性能，显著优于以往的句子级方法。
• 该模型隐式学习识别共指实体提及，无需显式共指解析组件。
• 跨句子上下文建模显著提升了事件抽取的准确性。
• 生成式框架在生成过程中有效尊重模板结构，并强制执行跨角色依赖。
• 消融实验确认，文档级上下文和自回归生成是性能提升的关键因素。
• 该模型性能稳健且具备泛化能力，结果通过开源评估脚本和模型得到验证。