[论文解读] Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo, Yan Zhang+1 more|arXiv (Cornell University)|Jun 18, 2019

Topic Modeling参考文献 42被引用 82

一句话总结

AGGCN 通过多头注意力和密集连接在完整的依存树上学习软 pruning，从而提升跨句子 n-ary 和句子级任务的关系抽取，并在若干基准上达到最新研究水平。

ABSTRACT

Dependency trees convey rich structural information that is proven useful for extracting relations among entities in text. However, how to effectively make use of relevant information while ignoring irrelevant information from the dependency trees remains a challenging research question. Existing approaches employing rule based hard-pruning strategies for selecting relevant partial dependency structures may not always yield optimal results. In this work, we propose Attention Guided Graph Convolutional Networks (AGGCNs), a novel model which directly takes full dependency trees as inputs. Our model can be understood as a soft-pruning approach that automatically learns how to selectively attend to the relevant sub-structures useful for the relation extraction task. Extensive results on various tasks including cross-sentence n-ary relation extraction and large-scale sentence-level relation extraction show that our model is able to better leverage the structural information of the full dependency trees, giving significantly better results than previous approaches.

研究动机与目标

• 通过改进对依存树信息在关系抽取中的使用来避免硬 pruning 的局限性。
• 提出一个端到端模型，在完整的依存树上学习边权，以在信息包含与排除之间取得平衡。
• 利用密集连接实现更深的图卷积网络，同时保持高效训练。
• 在跨句子 n-ary 关系提取和大规模句子级提取任务上展示最先进的性能。

提出的方法

• 通过多头自注意力将依存树转换为一个带边权的全连接图，以创建基于注意力的邻接矩阵。
• 使用密集连接构建更深、但参数高效的图卷积网络，在多跳传播信息。
• 在每个 AGGCN 模块中，以注意力引导的密集连接层进行处理，并通过线性组合层将输出结合起来。
• 通过最大池化聚合标记表示，得到句子和实体表示，再进行拼接并通过一个 FFNN 进行最终关系分类。
• 保留原始邻接信息作为初始化，以在端到端学习边权的同时保留基础结构信息。

实验结果

研究问题

• RQ1 注意力通过软 pruning 是否能在完整依存树中有效识别相关子结构以进行关系抽取？
• RQ2 密集连接的 GCN 是否能够在不 pruning 的情况下有效学习更深的图，改进非局部依存建模？
• RQ3 与 prune-tree GCN 和其他基线相比，AGGCN 在跨句子 n-ary 关系抽取和大规模句子级关系抽取上的表现如何？
• RQ4 注意力引导层和密集连接对整体性能的贡献（消融分析）是什么？

主要发现

• AGGCN 在跨句子 n-ary 关系抽取上达到最先进的结果，在多类三元和二元提取方面分别以 8% 和 6% 的准确率领先于先前模型。
• 在 TACRED 句子级数据集上，C-AGGCN（含 biLSTM）达到 69.0 F1，优于基线 C-GCN，并接近或超过若干基于依存的方(method)法。
• C-AGGCN 持续优于使用 prune 树的 GCN 基模型，凸显在结合软 pruning 与密集连接时的全树信息优势。
• 消融研究显示注意力引导层和密集连接均对性能提升有贡献；注意力组件带来显著改进；前馈层也有助于提升表现。