[论文解读] MrGCN: Mirror Graph Convolution Network for Relation Extraction with Long-Term Dependencies.

Xiao Guo, I-Hung Hsu+3 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 31被引用 9

一句话总结

MrGCN 提出了一种带有池化-反池化结构的镜像图卷积网络，通过图池化扩展感受野，同时利用反池化保留标记级预测，从而在长文本语篇中增强关系抽取。它引入了基于依存关系的新型池化方法——条款匹配（Clause Matching），在语篇级关系抽取数据集上实现了最先进性能，尤其在长期依赖建模方面表现突出。

ABSTRACT

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for relation extraction (RE) tasks. Graph neural networks (GNNs), one of the means to encode dependency graphs, have been shown to be effective in prior works. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for tasks with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose the Mirror Graph Convolution Network, a GNN model with a pooling-unpooling structure tailored to RE tasks. The pooling branch reduces the graph size and enables the GNN to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution for token-level RE tasks. Experiments on two discourse-level relation extraction datasets demonstrate the effectiveness of our method, showing significant improvements over prior methods especially when modeling long-term dependencies is necessary. Moreover, we propose Clause Matching (CM), a novel graph pooling method that merges nodes based on dependency relations in graph. CM can largely reduce the graph size while retaining the main semantics of the input text.

研究动机与目标

• 为解决使用图神经网络在语篇级关系抽取中建模长期依赖的挑战。
• 在不增加模型深度或计算成本的前提下，提升图神经网络的感受野覆盖范围。
• 在图压缩后仍保留细粒度的标记级表示，以实现准确的关系预测。
• 开发一种新颖的图池化策略，通过利用句法依存关系保留语义完整性。

提出的方法

• MrGCN 采用池化-反池化结构：池化分支通过减小图规模来扩展感受野，而反池化分支则将图恢复至原始分辨率，以实现标记级预测。
• 提出条款匹配（CM）作为图池化方法，基于依存关系合并节点，在减小图规模的同时保留关键语义结构。
• 池化分支使用 CM 压缩依存图，使更少的层数即可实现更深层次的上下文理解。
• 反池化分支通过学习的注意力机制或类似注意力机制，将图重构为原始节点数量，以恢复局部化表示。
• 模型在完整图上执行消息传递并结合反池化过程，以优化节点嵌入用于关系分类。
• 该架构在语篇级关系抽取数据集上端到端训练，使用交叉熵损失进行关系预测。

实验结果

研究问题

• RQ1 图神经网络中的池化-反池化机制是否能在不增加模型深度的情况下，有效扩展长文本关系抽取的感受野？
• RQ2 条款匹配池化方法在图压缩过程中与标准池化方法相比，能否更好地保留语义内容？
• RQ3 与先前基于图神经网络的模型相比，MrGCN 在长上下文关系抽取任务上的性能提升程度如何？
• RQ4 镜像结构是否能保持对细粒度关系分类至关重要的高质量标记级表示？

主要发现

• MrGCN 在两个语篇级关系抽取数据集上取得了显著性能提升，尤其在需要长期依赖建模的场景中表现突出。
• 所提出的条款匹配池化方法在大幅减小图规模的同时，保留了输入文本的主要语义结构。
• 池化-反池化机制在层数更少的情况下实现了更大的有效感受野，提升了上下文建模效率。
• MrGCN 在长文本关系抽取基准测试中优于先前基于图神经网络的模型，展现出在复杂语篇结构上的优越泛化能力。