[论文解读] FlowDelta: Modeling Flow Information Gain in Reasoning for Conversational Machine Comprehension

Yi‐Ting Yeh, Yun-Nung Chen|arXiv (Cornell University)|Aug 14, 2019

Topic Modeling参考文献 14被引用 10

一句话总结

本文提出FlowDelta，一种新颖的机制，通过捕捉单向GRU中连续隐藏状态之间的差异，显式建模对话推理中的信息增益。该机制在多个数据集上提升性能，在QuAC和SCONE上达到最先进结果，通过增强多轮对话中的上下文建模能力，且参数开销极小。

ABSTRACT

Conversational machine comprehension requires deep understanding of the dialogue flow, and the prior work proposed FlowQA to implicitly model the context representations in reasoning for better understanding. This paper proposes to explicitly model the information gain through dialogue reasoning in order to allow the model to focus on more informative cues. The proposed model achieves state-of-the-art performance in a conversational QA dataset QuAC and sequential instruction understanding dataset SCONE, which shows the effectiveness of the proposed mechanism and demonstrates its capability of generalization to different QA models and tasks.

研究动机与目标

• 显式建模多轮对话推理中的信息增益，超越隐式的流动表征。
• 通过关注上下文表征的动态变化，聚焦显著线索，提升对话机器阅读理解性能。
• 开发一种可泛化的机制，增强多种问答模型，包括FlowQA和BERT。
• 在多样化的对话问答与指令理解任务中验证其有效性。

提出的方法

• FlowDelta通过计算单向GRU中连续隐藏状态的差异，建模对话推理中的信息增益。
• 引入两个组件：inFlowDelta用于建模上下文表征的内部变化，exFlowDelta用于建模来自前一轮对话的外部变化。
• 通过在GRU输入中加入前一隐藏状态的差异，将该机制集成到现有模型（如FlowQA和BERT）中。
• 该方法在保留原始流动结构的同时，增加一个捕捉推理中意义变化的动态组件。
• 设计轻量化，每个GRU单元仅增加少量参数，具备广泛适用性。
• 该方法同时应用于抽取式问答与序列指令理解任务，展现出跨领域的泛化能力。

实验结果

研究问题

• RQ1 在对话推理中显式建模信息增益是否能提升对话机器阅读理解性能？
• RQ2 建模连续隐藏状态之间的差异对多轮问答任务性能有何影响？
• RQ3 FlowDelta在不同模型架构（如FlowQA和BERT）上的泛化能力如何？
• RQ4 该机制在对话复杂度与上下文依赖性各异的任务上是否能提升性能？
• RQ5 在SCONE等合成性、基于指令的对话理解任务上，模型表现如何？

主要发现

• FlowDeltaQA在CoQA和QuAC上均比FlowQA提升0.9%的绝对F1值，证明显式信息增益建模带来稳定增益。
• BERT-FlowDelta在QuAC上达到最先进性能，截至2019年4月，超越排行榜上已发表的模型。
• 在SCONE数据集上，FlowDeltaQA在Scene和Tangrams领域达到最先进结果，F1值相比FlowQA提升1.6分。
• 消融实验确认inFlowDelta与exFlowDelta两个组件均不可或缺，QuAC上增益更大，归因于更高的主题转移频率。
• 在Alchemy领域性能提升较小，与该领域对话历史影响较小的发现一致，验证了该机制对上下文依赖性的敏感性。
• 模型在QuAC上实现接近人类的性能，HEQ-D得分甚至超过HAM模型，表明其在全对话推理方面表现更优。