[论文解读] Unsupervised Label-aware Event Trigger and Argument Classification

Hongming Zhang, Haoyu Wang+1 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling参考文献 28被引用 10

一句话总结

本文提出了一种零样本事件抽取框架，仅通过预定义本体中的标签语义和结构约束，结合预训练语言模型的上下文嵌入与整数线性规划的约束正则化，实现事件触发词和论元的分类。该方法在 ACE-2005 数据集上实现了 83% 的触发词分类准确率和 54% 的论元分类准确率，且无需任何标注训练数据，几乎将先前的零样本方法性能翻倍。

ABSTRACT

Identifying events and mapping them to pre-defined event types has long been an important natural language processing problem. Most previous work has been heavily relying on labor-intensive and domain-specific annotations while ignoring the semantic meaning contained in the labels of the event types. As a result, the learned models cannot effectively generalize to new domains, where new event types could be introduced. In this paper, we propose an unsupervised event extraction pipeline, which first identifies events with available tools (e.g., SRL) and then automatically maps them to pre-defined event types with our proposed unsupervised classification model. Rather than relying on annotated data, our model matches the semantics of identified events with those of event type labels. Specifically, we leverage pre-trained language models to contextually represent pre-defined types for both event triggers and arguments. After we map identified events to the target types via representation similarity, we use the event ontology (e.g., argument type "Victim" can only appear as the argument of event type "Attack") as global constraints to regularize the prediction. The proposed approach is shown to be very effective when tested on the ACE-2005 dataset, which has 33 trigger and 22 argument types. Without using any annotation, we successfully map 83% of the triggers and 54% of the arguments to the correct types, almost doubling the performance of previous zero-shot approaches.

研究动机与目标

• 开发一种无需昂贵且领域特定标注的零样本事件抽取系统。
• 通过利用事件类型标签的语义含义，提升对新事件类型和新领域的泛化能力。
• 仅使用本体中的标签定义和结构约束，对事件触发词和论元进行分类。
• 在不依赖标注训练数据的同时，保持在标准基准上的高性能。
• 实现在新数据集和事件分类体系上仅需极少配置即可部署事件抽取流水线。

提出的方法

• 使用大规模语料中包含标签的句子，从预训练语言模型中提取上下文嵌入来表示事件类型标签。
• 通过计算其上下文嵌入与标签簇之间的余弦相似度，将识别出的事件触发词和论元映射到目标类型。
• 在预测过程中，将事件本体的结构约束（如有效的论元角色映射和实体类型限制）作为全局约束。
• 将最终的分类步骤建模为整数线性规划（ILP）问题，以确保所有预测结果均满足定义的约束。
• 将零样本分类模型与现有的 NLP 工具（如 SRL 和提及检测模块）集成，以提升论元识别效果。
• 利用事件类型的定义（例如，“攻击”事件需要“攻击者”和“目标”）来引导并正则化预测。

实验结果

研究问题

• RQ1 仅使用标签语义和本体约束，能否在零样本设置下准确分类事件触发词和论元？
• RQ2 与固定词嵌入相比，上下文嵌入的标签表示在零样本事件分类中的有效性如何？
• RQ3 来自事件本体的结构约束在多大程度上能提升零样本分类性能？
• RQ4 无需任何标注训练数据，零样本事件抽取流水线能否与有监督的 SOTA 系统相媲美？
• RQ5 当不使用任何训练数据时，零样本系统的性能与有监督模型相比如何？

主要发现

• 所提出的零样本模型在 ACE-2005 数据集上实现了 83% 的事件触发词分类准确率，且未使用任何标注训练数据。
• 该模型在事件论元分类上达到 54% 的准确率，显著优于先前的零样本方法。
• 使用从包含标签的多样化句子中提取的上下文标签表示，相比固定词表示，带来了显著的性能提升。
• 通过整数线性规划整合事件本体的结构约束，提升了预测的一致性和准确性。
• 当与 SRL 和提及检测模块结合时，零样本流水线的性能可与在超过 6,000 条句子上训练的有监督 SOTA 系统相媲美。
• 消融实验确认，上下文标签表示和恰当的约束整合对模型成功至关重要。