[论文解读] OntoED: Low-resource Event Detection with Ontology Embedding

Shumin Deng, Ningyu Zhang+6 more|arXiv (Cornell University)|May 23, 2021

Topic Modeling参考文献 34被引用 9

一句话总结

OntoED 提出了一种新颖的低资源事件检测框架，通过利用本体嵌入来建模事件类型之间的类型间相关性，从而在数据稀缺和零样本场景下提升性能。通过将基于符号规则的相关性推理与基于 BERT 的实例编码及原型学习相结合，OntoED 实现了更优的鲁棒性和泛化能力，在提出的 OntoEvent 数据集上，尤其在少样本和零样本设置下优于先前方法。

ABSTRACT

Event Detection (ED) aims to identify event trigger words from a given text and classify it into an event type. Most of current methods to ED rely heavily on training instances, and almost ignore the correlation of event types. Hence, they tend to suffer from data scarcity and fail to handle new unseen event types. To address these problems, we formulate ED as a process of event ontology population: linking event instances to pre-defined event types in event ontology, and propose a novel ED framework entitled OntoED with ontology embedding. We enrich event ontology with linkages among event types, and further induce more event-event correlations. Based on the event ontology, OntoED can leverage and propagate correlation knowledge, particularly from data-rich to data-poor event types. Furthermore, OntoED can be applied to new unseen event types, by establishing linkages to existing ones. Experiments indicate that OntoED is more predominant and robust than previous approaches to ED, especially in data-scarce scenarios.

研究动机与目标

• 解决低资源事件检测中的挑战，即许多事件类型缺乏足够的训练实例。
• 克服现有方法忽略事件类型之间类型间相关性的局限。
• 通过将新出现的未见事件类型链接至现有事件本体，实现对新事件类型的零样本检测。
• 通过从高资源事件类型向低资源事件类型传播知识，提升数据稀缺场景下的模型泛化能力并减少过拟合。
• 开发一种神经符号框架，通过事件本体嵌入将深度学习与符号推理相结合。

提出的方法

• 通过使用 BERT 嵌入和原型学习将事件实例与预定义类型关联，构建初始事件本体，其中每个原型为其对应实例嵌入的平均值。
• 通过从事件实例中提取关系并聚合邻居原型进行嵌入学习，为事件本体补充类型间关系——包括时间关系、因果关系和层次关系。
• 通过在事件类型之间传播相关性知识来学习本体嵌入，使语义上相似的类型在向量空间中更接近。
• 设计一种基于符号规则的推理机制，从已有关系中推导出新的事件-事件关系（如传递性关系“Before”），进一步丰富本体。
• 将本体嵌入模块与少样本学习设置相结合，以支持零样本和少样本事件检测。
• 采用混合神经符号架构，结合深度神经网络（BERT）与符号推理（本体规则），以提升泛化能力。

实验结果

研究问题

• RQ1 建模事件类型之间的类型间相关性是否能提升低资源事件检测的性能？
• RQ2 基于本体的相关性传播，能否有效实现从数据丰富到数据贫乏事件类型的迁移知识？
• RQ3 OntoED 在训练期间未见过的零样本事件类型上，其泛化能力达到何种程度？
• RQ4 基于符号规则的相关性推理在多大程度上增强了事件检测模型的鲁棒性与可扩展性？
• RQ5 在低资源设置下，将深度学习与符号本体推理结合，是否能优于纯粹神经网络或纯粹符号方法？

主要发现

• OntoED 在整体、少样本和零样本评估设置下均达到最先进性能，尤其在低资源场景下显著优于先前方法。
• 消融实验表明，移除相关性推理后，少样本设置下的 F1 分数下降 10.9%，表明其在知识迁移中起关键作用。
• 在零样本评估中，若无相关性推理，F1 分数下降 15.9%，凸显其在泛化至未见类型方面的重要性。
• 当移除相关性推理时性能下降更严重（-10.9%），而移除本体学习时仅下降 6.6%，证明相关性建模更具影响力。
• OntoED 在零样本检测中表现出强鲁棒性，通过共享相关性将新事件类型成功链接至现有本体结构，实现泛化。
• 模型的成功归因于符号规则与深度学习的有效结合，实现了语义相关事件类型之间的知识传播。