[论文解读] Zero-Shot Transfer Learning for Event Extraction

Lifu Huang, Heng Ji+2 more|arXiv (Cornell University)|Jul 4, 2017

Topic Modeling参考文献 35被引用 13

一句话总结

本文提出了一种用于事件抽取的零样本迁移学习框架，将事件类型化为共享语义空间中的定位问题。通过使用在少数已见事件类型和现有本体上训练的神经架构，联合嵌入事件提及和类型，该方法在无需任何额外标注的情况下，对23种未见事件类型实现了与监督模型相当的性能。

ABSTRACT

Most previous event extraction studies have relied heavily on features derived from annotated event mentions, thus cannot be applied to new event types without annotation effort. In this work, we take a fresh look at event extraction and model it as a grounding problem. We design a transferable neural architecture, mapping event mentions and types jointly into a shared semantic space using structural and compositional neural networks, where the type of each event mention can be determined by the closest of all candidate types . By leveraging (1)~available manual annotations for a small set of existing event types and (2)~existing event ontologies, our framework applies to new event types without requiring additional annotation. Experiments on both existing event types (e.g., ACE, ERE) and new event types (e.g., FrameNet) demonstrate the effectiveness of our approach. extit{Without any manual annotations} for 23 new event types, our zero-shot framework achieved performance comparable to a state-of-the-art supervised model which is trained from the annotations of 500 event mentions.

研究动机与目标

• 解决监督式事件抽取的可扩展性限制，后者需要为每个新事件类型付出高昂的标注成本。
• 克服传统监督模型可移植性差的问题，这些模型无法在不从头重新训练的情况下泛化到新事件类型。
• 利用现有事件本体和有限的手动标注，实现对新、未见事件类型的零样本迁移。
• 开发一种通用且可迁移的框架，将事件提及映射到共享嵌入空间中最近似的语义类型。
• 通过利用事件本体中的丰富语义结构，将事件抽取的覆盖范围从几十种扩展到数千种类型。

提出的方法

• 使用抽象意义表示（AMR）和事件本体定义，将事件提及和类型表示为结构化的语义图。
• 训练卷积神经网络（CNN）将AMR元组编码为事件提及和类型密集向量表示。
• 使用类似Siamese的神经架构，将事件提及和类型联合嵌入到共享语义空间中，以最小化匹配对之间的距离。
• 引入一种新颖的对比损失函数并结合负样本挖掘，以防止过拟合，尤其是在已见类型数量较少的情况下。
• 在零样本推理中，将每个事件提及分配给共享嵌入空间中余弦相似度最高的类型。
• 利用预先存在的事件本体（例如，ERE、FrameNet）定义未见类型及其论元角色结构，而无需新增标注。

实验结果

研究问题

• RQ1 是否可以在不进行任何手动标注的情况下，有效将事件抽取迁移到新、未见的事件类型？
• RQ2 从少数已见事件类型学习到的共享语义空间，在多大程度上能泛化到现有本体中数千种未见类型？
• RQ3 与更简单的语义角色标注相比，AMR中的细粒度语义关系在多大程度上提升了零样本事件类型分类的性能？
• RQ4 与依赖大规模标注数据的完全监督模型相比，所提出的框架在性能上表现如何？
• RQ5 当使用系统生成的AMR解析而非标准标注时，所提出方法是否仍能保持鲁棒性？

主要发现

• 所提出的零样本框架仅使用6种已见类型的548个标注样本，就在23种未见事件类型的触发词分类上达到了59.1%的F1值，性能与在500个事件提及上训练的监督模型相当。
• 在使用完美AMR标注的情况下，模型在触发词分类上达到79.1%的F1值，在论元分类上达到47.1%的F1值，分别优于基于SRL的基线模型2.0和0.1个百分点。
• 该模型表现出强大的泛化能力：即使使用系统生成的AMR解析，其在触发词分类上的F1值仍达到46.7%，显示出对解析错误的鲁棒性。
• 细粒度的AMR关系（如：:location、:instrument）提供的特征比核心SRL角色更具信息量，使触发词分类的F1值提高了0.7个百分点。
• 结合负样本挖掘的对比损失有效缓解了过拟合，使得在已见类型数量较少的情况下仍能实现可靠的零样本迁移。
• 该框架通过利用FrameNet等现有本体，成功地将事件抽取扩展到数千种类型，显著提升了传统监督方法的可扩展性。