[论文解读] Question Answering and Question Generation as Dual Tasks

Duyu Tang, Nan Duan+3 more|arXiv (Cornell University)|Jun 7, 2017

Topic Modeling参考文献 27被引用 170

一句话总结

本论文通过利用它们之间的概率相关性，将 QA 和 QG 作为双任务联合训练，在 MARCO、SQUAD 和 WikiQA 上均有所提升，QA 与强基线相比具竞争力，QG 在 BLEU-4 上获得提升。

ABSTRACT

We study the problem of joint question answering (QA) and question generation (QG) in this paper. Our intuition is that QA and QG have intrinsic connections and these two tasks could improve each other. On one side, the QA model judges whether the generated question of a QG model is relevant to the answer. On the other side, the QG model provides the probability of generating a question given the answer, which is a useful evidence that in turn facilitates QA. In this paper we regard QA and QG as dual tasks. We propose a training framework that trains the models of QA and QG simultaneously, and explicitly leverages their probabilistic correlation to guide the training process of both models. We implement a QG model based on sequence-to-sequence learning, and a QA model based on recurrent neural network. As all the components of the QA and QG models are differentiable, all the parameters involved in these two models could be conventionally learned with back propagation. We conduct experiments on three datasets. Empirical results show that our training framework improves both QA and QG tasks. The improved QA model performs comparably with strong baseline approaches on all three datasets.

研究动机与目标

• 激发将 QA 和 QG 视为本质上相关的、相互关联的双任务，并具有潜在的互利关系的研究。
• 提出一个联合训练框架，通过它们的概率关系对两个模型进行正则化。
• 展示从零开始端到端可微训练的 QA 和 QG 模型。
• 在三个数据集上评估该框架，以评估 QA 和 QG 性能的改进。

提出的方法

• 实现一个基于循环神经网络、双向处理以及对问题-答案对进行拼接表示的 QA 模型。
• 实现一个带注意力的序列到序列 QG 模型，以从答案句子生成问题。
• 提出一个基于对偶性的正则化项，强制 P(a)P(q|a;θqg) ≈ P(q)P(a|q;θqa) 并最小化其平方误差。
• 联合训练 QA 和 QG 模型，使用用于 QA、QG 和对偶正则化的损失分量，通过反向传播更新。
• 将平滑后的二元语言模型用作 P_a(a) 和 P_q(q); 在训练期间对答案候选进行采样以近似 P(a|q;θqa)。

实验结果

研究问题

• RQ1 双任务训练是否比分别训练 QA 和 QG 更能提升 QA 性能？
• RQ2 双任务训练是否能提升按 BLEU-4 衡量的 QG 性能？
• RQ3 在多样化数据集（MARCO、SQUAD、WikiQA）上，该双框架在 QA 和 QG 的表现如何？
• RQ4 双训练对生成的问题和 QA 评分的定性影响是什么？

主要发现

• 双重 QA 在 SQUAD 上相比基础 QA 提升了 QA 性能，在 MARCO 上与强基线相比也可相比。
• 在 MARCO、SQUAD 和 WikiQA 上，与 Basic QG 相比，使用双框架训练的 Dual QG 在 BLEU-4 上取得提升。
• 在 WikiQA 上，Dual QA 的结果可与强基线方法媲美。
• 联合训练框架在 QA 和 QG 上都优于分别训练的模型。
• 由 Dual QG 生成的问题往往与正确问题有更多信息性重叠，有助于 QA。
• QG 的 BLEU-4 分数总体仍然较低，但在双训练下显示出一致的提升。