[论文解读] Discourse-level Relation Extraction via Graph Pooling

I-Hung Hsu, Xiao Guo+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 45被引用 6

一句话总结

本文提出了一种池化-解池化图神经网络框架，通过扩展感受野以捕捉长距离依赖，从而提升话语级关系抽取性能。通过引入句法感知的图池化方法——句法匹配（Clause Matching），模型增强了实体表示学习，在CDR和跨句n元DRE数据集上取得了当前最优性能。

ABSTRACT

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for discourse-level relation extraction (DRE) tasks. Graph neural networks (GNNs), one of the methods to encode dependency graphs, have been shown effective in prior works for DRE. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for cases with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose to use pooling-unpooling framework on DRE tasks. The pooling branch reduces the graph size and enables the GNNs to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution so that representations for entity mention can be extracted. We propose Clause Matching (CM), a novel linguistically inspired graph pooling method for NLP tasks. Experiments on two DRE datasets demonstrate that our models significantly improve over baselines when modeling long-term dependencies is required, which shows the effectiveness of the pooling-unpooling framework and our CM pooling method.

研究动机与目标

• 解决话语级关系抽取（DRE）中关系跨越多个句子时捕捉长期依赖的挑战。
• 通过增强远距离标记间的信息聚合，克服标准图神经网络（GNN）在长输入序列中感受野有限的问题。
• 设计一种池化-解池化框架，在保留结构信息的同时，通过分层图压缩实现更大的有效感受野。
• 提出句法匹配（CM），一种专为NLP设计的新颖图池化策略，利用依存边类型指导节点合并，提升池化过程中的语言连贯性。
• 在长上下文设置下，于两个基准DRE数据集上验证所提框架的有效性。

提出的方法

• 在文档级图上应用池化-解池化框架，其中节点表示标记，边表示句法依存关系。
• 使用图卷积网络（GCNs）作为GNN主干网络，在层次结构的每一层更新节点表示。
• 实施图池化，将结构相似或语言相关的节点合并为超节点，形成感受野更大的粗粒度超图。
• 设计句法匹配（CM）池化，优先考虑依存边类型（如‘nmod’）以指导节点合并，提升池化过程中的语义连贯性。
• 通过解池化层重建原始图分辨率，使能从上下文增强的特征中提取实体提及表示。
• 使用交叉熵损失在关系分类任务上端到端训练模型，池化与解池化过程由可学习匹配矩阵引导。

实验结果

研究问题

• RQ1 池化-解池化框架是否能提升GNN在话语级关系抽取中捕捉长距离依赖的能力？
• RQ2 句法匹配（CM），一种基于语言学动机的图池化方法，在DRE任务中与通用池化策略（如混合匹配HM）相比表现如何？
• RQ3 图池化在不造成信息丢失或过度平滑的前提下，能在多大程度上扩展感受野大小？
• RQ4 所提框架是否能在不同话语复杂度的DRE数据集上实现泛化？
• RQ5 池化-解池化机制是否能减少对深层GNN架构的依赖，同时在长上下文关系抽取任务中保持或提升性能？

主要发现

• 所提出的池化-解池化框架结合句法匹配（CM）在CDR开发集上达到69.5%的F1分数，优于基线GCN（68.4%）及其他池化变体。
• 句法匹配（CM）在性能上持续优于通用池化方法（如混合匹配HM），CM取得69.5% F1，而HM为69.2%，随机池化为68.6%。
• 激进的池化策略（如激进CM和激进HM）表现参差不齐，其中激进CM导致性能下降（F1为68.9%），表明过度激进的合并可能引发信息丢失。
• 该框架在长上下文DRE任务中显著提升性能，证明其在建模跨越多句的语篇级关系方面的有效性。
• 消融实验表明，图池化能有效扩展感受野并减少对深层GNN堆叠的需求，因该框架在层数更少的情况下仍取得更优结果。
• 结果验证了将语言结构——特别是依存边类型——融入池化机制，可实现更合理且高效的图压缩。