[论文解读] Event Detection: Gate Diversity and Syntactic Importance Scoresfor Graph Convolution Neural Networks

Viet Dac Lai, Tuan Ngo Nguyen+1 more|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 23被引用 9

一句话总结

该论文提出GatedGCN，一种用于事件检测的图卷积网络，引入了触发器感知门控机制以过滤无关的句法信息，并通过在各层间强制门控多样性来保留层次化上下文。此外，通过整合基于图的和基于模型的重要程度评分以实现一致性，该方法在ACE-2005和LitBank数据集上分别取得了74.5的SOTA F1分数，分别优于先前模型1.4%和0.6%。

ABSTRACT

Recent studies on event detection (ED) haveshown that the syntactic dependency graph canbe employed in graph convolution neural net-works (GCN) to achieve state-of-the-art per-formance. However, the computation of thehidden vectors in such graph-based models isagnostic to the trigger candidate words, po-tentially leaving irrelevant information for thetrigger candidate for event prediction. In addi-tion, the current models for ED fail to exploitthe overall contextual importance scores of thewords, which can be obtained via the depen-dency tree, to boost the performance. In thisstudy, we propose a novel gating mechanismto filter noisy information in the hidden vec-tors of the GCN models for ED based on theinformation from the trigger candidate. Wealso introduce novel mechanisms to achievethe contextual diversity for the gates and theimportance score consistency for the graphsand models in ED. The experiments show thatthe proposed model achieves state-of-the-artperformance on two ED datasets

研究动机与目标

• 为解决基于GCN的模型在事件检测中将隐藏表征视为与触发器无关所带来的噪声信息保留问题。
• 通过引入基于触发器候选的动态门控机制，基于触发器候选的隐藏表征来过滤无关上下文，以增强表征学习。
• 通过在GCN各层间强制门控激活的结构多样性，以反映上下文信息的分层抽象层次。
• 通过对齐基于图的句法重要性评分与基于模型的注意力评分，提升模型可解释性与性能。
• 通过消融实验与对比实验，证明整合句法结构与学习表征的有效性。

提出的方法

• 在每个GCN层中引入触发器感知门控机制，门控由触发器候选的隐藏表征计算得出，用于抑制无关邻近词的影响。
• 在损失函数中引入正则化项，以鼓励各层间门控激活的多样性，确保不同抽象层次的表征。
• 基于每个词到触发器的依存路径距离计算基于图的重要性评分，以反映句法相关性。
• 基于最终分类器层的注意力权重或梯度，推导出基于模型的重要性评分。
• 引入一致性损失，以对齐基于图和基于模型的重要性评分，从而增强表征学习。
• 完整模型GatedGCN结合了BERT句子编码、带门控的GCN消息传递以及重要性评分正则化，实现端到端训练。

实验结果

研究问题

• RQ1 触发器感知门控机制是否能通过过滤无关句法上下文来提升事件检测性能？
• RQ2 在GCN各层间强制门控激活的多样性，是否能增强模型捕捉分层上下文表征的能力？
• RQ3 基于图的句法重要性评分是否能提升事件检测模型中学习表征的质量？
• RQ4 对齐基于图和基于模型的重要性评分是否能带来更好的性能与更稳健的特征学习？
• RQ5 所提出的各组件在基准数据集上对SOTA性能的贡献程度如何，是单独作用还是协同作用？

主要发现

• 所提出的GatedGCN模型在ACE-2005测试集上取得了74.5的SOTA F1分数，优于第二名模型（BERT+MLP）1.4个百分点。
• 在LitBank测试集上，GatedGCN的F1得分为74.5，较SOTA模型BERT+BiLSTM提升了0.6个百分点。
• 消融实验表明，若移除任一组件（门控、多样性正则化或一致性损失），性能均出现显著下降，证实了其独立与协同贡献。
• 重要性评分的可视化显示，GatedGCN能有效突出触发器附近语义相关的词语，即使这些词语并非直接的句法邻近词。
• 与消融模型相比，GatedGCN中的基于模型的重要性评分与基于图的评分更加一致，表明其具有更高的一致性与可解释性。
• 在ACE-2005与LitBank上，性能提升均具有统计显著性（p < 0.05），验证了所提方法的稳健性。