[论文解读] GDPNet: Refining Latent Multi-View Graph for Relation Extraction

Fuzhao Xue, Aixin Sun+2 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Text Analysis Techniques被引用 7

一句话总结

GDPNet 提出了一种基于图的新方法用于关系抽取，该方法从 BERT 编码的词元构建潜在的多视角图，并通过动态时间规整池化（DTWPool）对其进行优化，以突出指示性词语。该方法在对话级关系抽取任务上达到最先进性能，在句子级任务上也取得具有竞争力的结果，展现出在长序列中识别关键关系触发词的优越能力。

ABSTRACT

Relation Extraction (RE) is to predict the relation type of two entities that are mentioned in a piece of text, e.g., a sentence or a dialogue. When the given text is long, it is challenging to identify indicative words for the relation prediction. Recent advances on RE task are from BERT-based sequence modeling and graph-based modeling of relationships among the tokens in the sequence. In this paper, we propose to construct a latent multi-view graph to capture various possible relationships among tokens. We then refine this graph to select important words for relation prediction. Finally, the representation of the refined graph and the BERT-based sequence representation are concatenated for relation extraction. Specifically, in our proposed GDPNet (Gaussian Dynamic Time Warping Pooling Net), we utilize Gaussian Graph Generator (GGG) to generate edges of the multi-view graph. The graph is then refined by Dynamic Time Warping Pooling (DTWPool). On DialogRE and TACRED, we show that GDPNet achieves the best performance on dialogue-level RE, and comparable performance with the state-of-the-arts on sentence-level RE.

研究动机与目标

• 为解决在长文本中识别关系抽取指示性词语的挑战，尤其是在对话中大部分内容无关的情况下。
• 开发一种通用的、端到端的方法，用于构建和优化特定任务的图，而无需依赖外部解析器或手工规则。
• 通过图的优化，聚焦于 BERT 表示中一小部分信息丰富的词元，从而增强其表示能力。
• 提升在长序列关系抽取任务上的性能，特别是 BERT 单独使用时因无关内容噪声而表现不佳的对话级关系抽取任务。

提出的方法

• 使用高斯图生成器（GGG）构建潜在多视角图，通过节点表示的 KL 散度计算边权重，其中节点表示被建模为高斯分布。
• 使用 BERT 对输入词元进行编码，生成上下文表示，作为图构建的节点特征。
• 应用动态时间规整池化（DTWPool）通过下界池化比率和 SoftDTW 正则化，自适应地选择重要节点，以优化图结构。
• 通过拼接操作将优化后的图表示与 BERT 的 [CLS] 表示融合，用于最终的关系分类。
• 采用联合损失函数进行端到端训练，其中包含 SoftDTW 损失，以引导图优化过程聚焦于信息丰富的词元。
• 在图中使用多个视角，以捕捉词元对之间非对称且复杂的句法与语义关系。

实验结果

研究问题

• RQ1 潜在多视角图是否能有效建模长序列中词元之间的复杂、非对称关系？
• RQ2 通过 DTWPool 进行图优化是否能提升在噪声或长上下文中的关系触发词识别能力？
• RQ3 在对话级关系抽取中，GDPNet 与基于 BERT 的模型以及依赖外部解析器的图模型相比表现如何？
• RQ4 在长对话中，DTWPool 在多大程度上优先选择非重复、信息丰富的词元而非重复词元？
• RQ5 基于图的优化机制是否能在长序列关系抽取任务上超越标准 BERT 或 GCN 基模型？

主要发现

• GDPNet 在 DialogRE 数据集上取得了最佳 F1 分数，显著优于基于 BERT 的模型和其他最先进方法，在对话级关系抽取任务中表现突出。
• 在 TACRED 数据集上，GDPNet 的性能与最先进模型相当，展现出在不同序列长度下的强大泛化能力。
• 尽管仅选择了全部词元的 15.6%，DTWPool 仍选中了 32.1% 的人工标注触发词，表明其在识别关系指示性词元方面具有高精度。
• 该模型选择的非重复词元比例高于重复词元，证实其聚焦于信息丰富且语境相关的词语。
• SoftDTW 损失在 TACRED 上的效果优于在 DialogRE 上，原因在于序列长度较短，导致保留率更高且损失更低。
• 尽管未使用外部知识，GDPNet 在 TACRED-Revisit 上的 F1 分数仍比 KnowBERT 高近 1 分，凸显其在自监督图优化方面的有效性。