[论文解读] Dialogue Relation Extraction with Document-level Heterogeneous Graph Attention Networks

Hui Chen, Pengfei Hong+3 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling被引用 13

一句话总结

该论文提出了一种异构图注意力网络（HGAT），用于对话关系抽取，通过统一的图结构建模说话人、实体、话语和类型信息。通过在异构节点间进行多跳消息传递，该模型捕捉了长距离依赖关系和说话人之间的关系，在DialogRE基准测试集上取得了56.1%的宏平均F1分数，达到当前最先进性能。

ABSTRACT

Dialogue relation extraction (DRE) aims to detect the relation between two entities mentioned in a multi-party dialogue. It plays an important role in constructing knowledge graphs from conversational data increasingly abundant on the internet and facilitating intelligent dialogue system development. The prior methods of DRE do not meaningfully leverage speaker information-they just prepend the utterances with the respective speaker names. Thus, they fail to model the crucial inter-speaker relations that may give additional context to relevant argument entities through pronouns and triggers. We, however, present a graph attention network-based method for DRE where a graph, that contains meaningfully connected speaker, entity, entity-type, and utterance nodes, is constructed. This graph is fed to a graph attention network for context propagation among relevant nodes, which effectively captures the dialogue context. We empirically show that this graph-based approach quite effectively captures the relations between different entity pairs in a dialogue as it outperforms the state-of-the-art approaches by a significant margin on the benchmark dataset DialogRE. Our code is released at: https://github.com/declare-lab/dialog-HGAT

研究动机与目标

• 解决先前对话关系抽取方法中说话人信息利用不足且无法建模说话人之间关系的局限性。
• 改善对话文本中的长距离依赖学习，因为对话文本比正式文档更具纠缠性且信息密度更低。
• 开发一种归纳式、轻量级的图神经网络，无需昂贵的矩阵运算即可在未见过的对话图上实现良好泛化。
• 将说话人身份和触发词作为多角色对话中关系推理的关键信号。

提出的方法

• 构建一个异构图，其中节点代表说话人、实体、实体类型和话语，并通过语义和句法关系连接。
• 应用多层图注意力机制，按特定元路径顺序（话语 → 类型 → 实体 → 话语）在不同类型的节点间传播上下文信息。
• 采用五层消息传递策略（A-B-C-D-A）迭代更新节点表示，增强长距离上下文学习能力。
• 利用注意力机制在消息传递过程中动态加权邻近节点的重要性，提升表示学习效果。
• 设计一种归纳式异构图模块，避免昂贵的矩阵运算，从而实现对未见过图的泛化能力。

Figure 1: An example adapted from DialogRE dataset. Words with red and blue background represent subject and object entities. Words with yellow background represent triggers that facilitate the relation inference. Solid and dash lines stand for intra- and inter-utterance relations.

实验结果

研究问题

• RQ1 如何在对话关系抽取中有效建模说话人信息以提升关系推理性能？
• RQ2 具有多类型节点传播能力的异构图神经网络是否能在对话关系抽取任务上超越现有方法？
• RQ3 用于捕捉对话中长距离依赖关系的消息传递机制，其最优深度和结构是什么？
• RQ4 实体类型偏差如何影响模型预测？能否通过多源上下文聚合缓解这一问题？

主要发现

• 所提出的HGAT模型在DialogRE基准测试集上取得了56.1%的宏平均F1分数，显著优于当前最先进方法。
• 消融实验表明，单层图模块性能较差（F1为48.4%），说明深层消息传递对捕捉复杂依赖关系至关重要。
• 七层模块（策略2）在测试集上的性能相比五层模型下降1.7%，表明增加深度可能导致过平滑。
• 九层模块（策略3）性能下降最大（F1为52.2%），证实过于复杂的结构会降低模型性能。
• 错误分析显示，当其他上下文信号微弱时，实体类型偏差会导致错误预测，尤其在罕见关系（如'per:alumni'）上更为明显。

Figure 2: An overview of the proposed model.