[论文解读] Edge-Enhanced Graph Convolution Networks for Event Detection with Syntactic Relation

Shiyao Cui, Bowen Yu+4 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 27被引用 9

一句话总结

本文提出边缘增强图卷积网络（EE-GCN），一种新颖的架构，通过使用边缘感知的节点更新和节点感知的边缘更新，联合建模事件检测中的句法结构和类型化依存关系标签。该方法在ACE2005数据集上实现了最先进性能，优于现有的基于GCN的模型，同时保持了较高的效率。

ABSTRACT

Event detection (ED), a key subtask of information extraction, aims to recognize instances of specific event types in text. Previous studies on the task have verified the effectiveness of integrating syntactic dependency into graph convolutional networks. However, these methods usually ignore dependency label information, which conveys rich and useful linguistic knowledge for ED. In this paper, we propose a novel architecture named Edge-Enhanced Graph Convolution Networks (EE-GCN), which simultaneously exploits syntactic structure and typed dependency label information to perform ED. Specifically, an edge-aware node update module is designed to generate expressive word representations by aggregating syntactically-connected words through specific dependency types. Furthermore, to fully explore clues hidden in dependency edges, a node-aware edge update module is introduced, which refines the relation representations with contextual information. These two modules are complementary to each other and work in a mutual promotion way. We conduct experiments on the widely used ACE2005 dataset and the results show significant improvement over competitive baseline methods.

研究动机与目标

• 为解决现有基于GCN的事件检测模型忽略类型化依存关系标签的局限性，这些标签对触发词识别具有关键的语言学信号。
• 以与上下文相关的动态方式建模依存关系，而非使用静态表示。
• 通过节点和边缘表示的相互优化，联合学习来提升事件检测性能。
• 设计一种高效架构，与现有关系感知的GCN模型相比，保持高速度和低参数量。

提出的方法

• EE-GCN构建一个异质图，其中词语为节点，类型化依存关系为边，通过邻接张量表示。
• 边缘感知的节点更新模块通过特定的依存类型聚合邻近节点表示，实现类型感知的消息传递。
• 节点感知的边缘更新模块利用连接节点的上下文信息来优化关系表示，使边缘表示具有动态性和上下文敏感性。
• 两个模块以相互促进的方式迭代应用，实现节点和边缘表示的联合优化。
• 模型使用可学习的关系嵌入来表示依存类型，相比关系特定的卷积滤波器，显著减少了参数量。
• 该架构采用交叉熵损失端到端训练，由于参数轻量化，推理效率高。

实验结果

研究问题

• RQ1 将类型化依存关系标签整合到图卷积网络中是否能提升事件检测性能？
• RQ2 以与上下文相关的动态方式建模依存关系，对事件触发词识别有何影响？
• RQ3 双更新机制（在节点和边缘更新之间交替）是否相比单更新方法带来更好的表示学习效果？
• RQ4 EE-GCN与现有关系感知GCN模型（如RGCN）相比，在效率和可扩展性方面表现如何？

主要发现

• EE-GCN在ACE2005基准上实现了最先进性能，优于包括RGCN和GCN在内的竞争性基线模型。
• 模型在使用两层GCN时达到最优性能，更深的网络会导致过平滑和性能下降。
• EE-GCN将参数量减少至2.39M，显著低于RGCN的4.12M，归因于高效的关系嵌入设计。
• 推理速度比RGCN快9.46倍，EE-GCN每秒处理167.6个批次，而RGCN为17.7个批次。
• 可视化结果表明，EE-GCN通过为关键事件相关词语（如主语、宾语、时间/地点修饰语）分配高相关性得分，正确识别了它们。
• 消融实验表明，边缘感知和节点感知模块均对性能有显著贡献，验证了其互补设计的有效性。