[论文解读] Label Enhanced Event Detection with Heterogeneous Graph Attention Networks

Shiyao Cui, Bowen Yu+4 more|arXiv (Cornell University)|Dec 3, 2020

Topic Modeling参考文献 27被引用 6

一句话总结

该论文提出 L-HGAT，一种用于中文事件检测的标签增强异构图注意力网络，通过异构图建模角色与词汇词之间的交互，同时利用基于原型的嵌入和边缘损失融入事件标签语义。该模型在 ACE2005 和 KBP2017 上实现最先进性能，更好地处理了词语-触发词不匹配问题，并提升了语义相似事件类型之间的判别能力。

ABSTRACT

Event Detection (ED) aims to recognize instances of specified types of event triggers in text. Different from English ED, Chinese ED suffers from the problem of word-trigger mismatch due to the uncertain word boundaries. Existing approaches injecting word information into character-level models have achieved promising progress to alleviate this problem, but they are limited by two issues. First, the interaction between characters and lexicon words is not fully exploited. Second, they ignore the semantic information provided by event labels. We thus propose a novel architecture named Label enhanced Heterogeneous Graph Attention Networks (L-HGAT). Specifically, we transform each sentence into a graph, where character nodes and word nodes are connected with different types of edges, so that the interaction between words and characters is fully reserved. A heterogeneous graph attention networks is then introduced to propagate relational message and enrich information interaction. Furthermore, we convert each label into a trigger-prototype-based embedding, and design a margin loss to guide the model distinguish confusing event labels. Experiments on two benchmark datasets show that our model achieves significant improvement over a range of competitive baseline methods.

研究动机与目标

• 为解决中文事件检测中的词语-触发词不匹配问题，即事件触发词常因词边界模糊而跨越或拆分于词汇词之间。
• 通过充分挖掘角色与多个匹配词汇词之间的交互，改进字符级表征，克服先前模型中单向或单个词汇融合的局限性。
• 利用事件标签中的语义信息指导触发词检测，尤其针对易混淆或语义相似的事件类型。
• 设计一种消息传递机制，通过异构图结构保留来自角色和词汇的多粒度信息。
• 通过基于触发原型的嵌入与边缘损失，增强模型对模糊事件标签的判别能力。

提出的方法

• 构建异构图，其中角色节点与词汇词节点通过不同类型的边连接，实现角色与其覆盖的词汇词之间的双向消息传递。
• 使用异构图注意力网络（HGAT）在不同节点类型之间传播关系消息，利用多粒度上下文丰富表征。
• 引入匹配模块，将事件标签表征学习为基于触发原型的嵌入，总结每类事件的代表性触发特征。
• 在标签嵌入空间应用边缘损失，促使模型更好地区分语义相似的事件类型，如 'Sue' 与 'Indict'。
• 在训练过程中微调标签嵌入矩阵，使其与实际触发模式对齐，提升语义一致性和判别能力。
• 在序列标注框架中端到端整合图编码器与标签感知模块，用于触发词识别与分类。

实验结果

研究问题

• RQ1 异构图注意力网络能否有效建模角色与词汇词之间的双向交互，从而缓解中文事件检测中的词语-触发词不匹配问题？
• RQ2 通过基于原型的嵌入引入事件标签语义信息，是否能提升模型对易混淆或相似事件类型的判别能力？
• RQ3 对标签嵌入施加边缘损失在多大程度上增强了模型对语义相似事件触发词的判别能力？
• RQ4 在标准中文事件检测基准上，所提出的 L-HGAT 模型在性能与鲁棒性方面相较于现有最先进方法表现如何？
• RQ5 所学习的标签嵌入是否能捕捉事件类型之间的有意义语义关系，如通过可解释性与相似性分析所证实？

主要发现

• L-HGAT 在 ACE2005 与 KBP2017 基准上均达到最先进性能，优于强基线模型，包括 NPN、TLNN 以及其他字符级与词汇级模型。
• 在 ACE2005 数据集上，L-HGAT 对词语-触发词不匹配触发词的召回率达到 92.3%，显著优于 TLNN（61.53%）与 NPN（84.61%），证明其边界检测能力更优。
• 在 KBP2017 上，模型对不匹配触发词的召回率达到 73.63%，再次超越 TLNN（63.63%）与 NPN（64.55%），证实其对边界模糊问题的处理更优。
• 标签嵌入的可视化显示，语义相似的事件类型（如 'Die' 与 'Injure'，或 'Sue' 与 'Indict'）被聚类在一起且相似度高，表明模型学习到了有意义的语义结构。
• 案例研究证实，L-HGAT 正确识别出如 '击毙' 这类拆分触发词为两个独立事件（'Shoot' 与 'Die'），而基线模型因消息传递受限或边界检测不佳而失败。
• 边缘损失有效提升了判别能力：若无边缘损失，HGAT 会将 '指控' 错误分类为 'Sue' 而非 'Indict'，但 L-HGAT 通过标签感知嵌入正确区分二者。