[论文解读] GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Jul 31, 2019

Topic Modeling参考文献 33被引用 23

一句话总结

GraphFlow 提出了一种基于图神经网络的模型，该模型在每次对话轮次中动态构建与问题和对话历史相关的上下文图，利用一种新颖的具有流动机制的循环图神经网络来建模对话中的时序依赖关系。该模型在 CoQA、QuAC 和 DoQA 基准测试中取得了最先进性能，并通过注意力可视化提升了可解释性。

ABSTRACT

Conversational machine comprehension (MC) has proven significantly more challenging compared to traditional MC since it requires better utilization of conversation history. However, most existing approaches do not effectively capture conversation history and thus have trouble handling questions involving coreference or ellipsis. Moreover, when reasoning over passage text, most of them simply treat it as a word sequence without exploring rich semantic relationships among words. In this paper, we first propose a simple yet effective graph structure learning technique to dynamically construct a question and conversation history aware context graph at each conversation turn. Then we propose a novel Recurrent Graph Neural Network, and based on that, we introduce a flow mechanism to model the temporal dependencies in a sequence of context graphs. The proposed GraphFlow model can effectively capture conversational flow in a dialog, and shows competitive performance compared to existing state-of-the-art methods on CoQA, QuAC and DoQA benchmarks. In addition, visualization experiments show that our proposed model can offer good interpretability for the reasoning process.

研究动机与目标

• 为解决在对话式机器阅读理解中有效建模对话历史的挑战，特别是针对代词指代和省略现象。
• 通过捕捉词语之间的丰富语义关系而非将其视为简单序列，来提升对篇章文本的推理能力。
• 通过将上下文表示为动态演化的图并应用带有流动机制的循环 GNN，来建模对话轮次之间的时序依赖关系。
• 通过隐藏表示变化的注意力可视化，展示对话轮次之间关注点的转移，从而提升模型的可解释性。
• 在多个对话式机器阅读理解基准上实现具有竞争力的性能，同时保持模块化和可解释的架构。

提出的方法

• 在每次对话轮次中动态构建一个上下文图，其中每个词作为一个节点，边由问题和对话历史共同学习得到。
• 采用一种循环图神经网络（RGNN），处理每个上下文图，并在轮次间保持隐藏状态，以建模时序流动。
• 引入一种流动机制，将前一轮次的推理输出传播到当前轮次的图注意力和消息传递中。
• 使用基于 k-NN 的图稀疏化方法，在保持关键语义关系的同时降低计算成本。
• 利用预训练的 BERT 嵌入作为输入特征，以丰富词表示并提升性能。
• 通过问题嵌入与上下文图嵌入之间的匹配得分来预测答案跨度。

实验结果

研究问题

• RQ1 如何通过基于图的表示在机器阅读理解中有效建模对话流？
• RQ2 动态构建与历史相关的上下文图在多大程度上能提升对话式机器阅读理解任务的性能？
• RQ3 带有跨图时序连接的循环 GNN 是否能优于现有的序列推理机制（如 Integration-Flow）？
• RQ4 对话历史（尤其是先前的回答）的引入在多大程度上影响模型性能和关注点的转移？
• RQ5 是否能以有意义的方式可视化模型的推理过程，以证明其可解释性和关注点的转移？

主要发现

• GraphFlow 在 CoQA 开发集上取得了 78.3 的 F1 分数，优于基线模型和消融变体。
• RGNN 模块对性能有显著贡献，相比无该模块的模型，F1 提升了 7.2%。
• RGNN 内部的时序连接组件对 F1 贡献了 6.1%，证明了建模轮次间流动的重要性。
• 在上下文中预先添加先前答案的位置，比包含先前问题更能提升性能，F1 提升 1.6%（相比不包含这些信息的情况）。
• 与密集图相比，k-NN 图稀疏化操作使性能提升了 0.9%，表明其在降低噪声方面的有效性。
• CoQA 的人类表现为 80.8 F1，GraphFlow 达到 78.3，显示出接近人类水平理解的强劲竞争力。