[论文解读] DADgraph: A Discourse-aware Dialogue Graph Neural Network for Multiparty Dialogue Machine Reading Comprehension

Jiaqi Li, Ming Liu+5 more|arXiv (Cornell University)|Apr 26, 2021

Topic Modeling参考文献 36被引用 10

一句话总结

DADgraph 是一种用于多轮对话机器阅读理解的论述感知图神经网络，通过论述依存链接和关系建模复杂对话结构。利用带有论述结构标注的 Molweni 数据集，DADgraph 在测试集上取得了 46.5 的 EM 和 61.5 的 F1，达到当前最先进性能，优于 BiDAF、BERT 和 DialogueGCN 等强基线模型。

ABSTRACT

Multiparty Dialogue Machine Reading Comprehension (MRC) differs from traditional MRC as models must handle the complex dialogue discourse structure, previously unconsidered in traditional MRC. To fully exploit such discourse structure in multiparty dialogue, we present a discourse-aware dialogue graph neural network, DADgraph, which explicitly constructs the dialogue graph using discourse dependency links and discourse relations. To validate our model, we perform experiments on the Molweni corpus, a large-scale MRC dataset built over multiparty dialogue annotated with discourse structure. Experiments on Molweni show that our discourse-aware model achieves statistically significant improvements compared against strong neural network MRC baselines.

研究动机与目标

• 解决传统 MRC 模型难以捕捉的多轮对话中复杂、非线性的论述结构问题。
• 克服序列建模（如 RNN）和全连接图结构（如 DialogueGCN）在捕捉长距离依赖和论述连贯性方面的局限性。
• 通过显式论述关系和依存链接引入论述感知图构建，以增强对话表征学习。
• 验证论述结构在提升多轮对话中抽取式 MRC 答案跨度预测性能方面的有效性。
• 证明在大规模、带标注的对话 MRC 数据集上，引入论述结构可带来相对于强神经 MRC 基线的统计显著性能提升。

提出的方法

• 构建对话图，其中节点代表话语，边由论述依存链接和论述关系类型（如 Q-Elab、QAP、Ack）定义。
• 使用序列上下文编码器学习话语的线性顺序，保留局部序列依赖关系。
• 应用图神经网络（GNN）在论述感知对话图上传播并聚合表征，捕捉长距离语义依赖。
• 在 MRC 模块中引入多头注意力机制，基于序列编码器和图编码器生成的上下文表征识别答案跨度。
• 在 Molweni 数据集上使用跨度预测损失端到端训练模型，优化 EM 和 F1 指标。
• 通过移除论述关系和结构进行消融研究，评估其对性能的独立贡献。

Figure 1: (a) Multiparty dialogue from Molweni , with accompanying (b) contributed questions and answers, and (c) discourse structure. Correct answers are marked in red. Q-Elab, QAP, Expl and Ack. respectively represent the Question-Elaboration, Question-Answer Pair, Explanation and Acknowledgements

实验结果

研究问题

• RQ1 与标准序列模型或全连接图模型相比，论述感知图建模是否能提升多轮对话中的机器阅读理解性能？
• RQ2 特定论述关系类型（如 Q-Elab、Explanation）在复杂对话中对答案跨度预测的贡献程度如何？
• RQ3 显式引入论述结构是否有助于更好地建模非相邻话语之间的长期依赖？
• RQ4 在大规模、带论述标注的 MRC 数据集上，DADgraph 相对于 BiDAF、BERT 和 DialogueGCN 等强基线模型的性能表现如何？
• RQ5 论述结构与原始话语顺序相比，在提升 MRC 性能方面各自贡献如何？

主要发现

• DADgraph 在 Molweni 测试集上取得 46.5 的 EM 和 61.5 的 F1，优于 BiDAF、DocQA、BERT、DialogueRNN 和 DialogueGCN 等强基线模型。
• 消融研究显示，移除论述关系导致 EM 下降 1.6 个百分点（从 46.5 降至 44.9），F1 下降 0.9 个百分点（从 61.5 降至 60.6），证实其重要性。
• 若完全移除论述结构（即使用全连接图），EM 降至 44.7，F1 降至 60.5，表明结构不连贯会损害性能。
• 案例研究显示，DADgraph 能正确回答 DialogueRNN 和 DialogueGCN 失败的问题，尤其在消歧和识别非相邻话语中的正确答案跨度方面表现更优。
• 模型有效利用 Q-Elab 和 Ack 等论述关系解决歧义并提升答案定位能力，例如在关于 Ubuntu 缺失功能或加速架构的问题中表现更佳。
• 论述感知图结构有助于更好的表征学习，尤其在长距离依赖建模方面优于标准 RNN 和全连接图。

Figure 2: Dialogue graph modeling using discourse structure. The edge between vertices is the discourse dependency link with discourse relation. Different colors of nodes and edges respectively represent different speakers and different discourse relations.