[论文解读] A Unified Query-based Generative Model for Question Generation and Question Answering

Linfeng Song, Zhiguo Wang+1 more|arXiv (Cornell University)|Sep 4, 2017

Topic Modeling参考文献 41被引用 50

一句话总结

本文提出一个统一的编码器–解码器模型，使用多视角查询-段落匹配同时用于问题生成和生成人工问答，通过策略梯度微调以降低暴露偏差。

ABSTRACT

We propose a query-based generative model for solving both tasks of question generation (QG) and question an- swering (QA). The model follows the classic encoder- decoder framework. The encoder takes a passage and a query as input then performs query understanding by matching the query with the passage from multiple per- spectives. The decoder is an attention-based Long Short Term Memory (LSTM) model with copy and coverage mechanisms. In the QG task, a question is generated from the system given the passage and the target answer, whereas in the QA task, the answer is generated given the question and the passage. During the training stage, we leverage a policy-gradient reinforcement learning algorithm to overcome exposure bias, a major prob- lem resulted from sequence learning with cross-entropy loss. For the QG task, our experiments show higher per- formances than the state-of-the-art results. When used as additional training data, the automatically generated questions even improve the performance of a strong ex- tractive QA system. In addition, our model shows bet- ter performance than the state-of-the-art baselines of the generative QA task.

研究动机与目标

• 在一个单一框架中激励对问题生成（QG）和问题回答（QA）的联合处理。
• 建模一个查询–段落理解组件，从多角度将查询与段落进行匹配。
• 使从给定段落和目标答案生成问题成为可能，以及从段落和问题生成答案。
• 通过强化学习和计划采样解决序列训练中的暴露偏差。
• 展示改进的QG性能并证明所生成的问题能够提升QA系统。

提出的方法

• 带有多视角匹配编码器的编码器-解码器架构，从四种策略（Full-Matching、Maxpooling-Matching、Attentive-Matching、Max-Attentive-Matching）使用多视角余弦函数，将段落和查询进行匹配。
• 通过将段落上下文向量与匹配向量拼接并应用二级BiLSTM来构建多视角记忆。
• 基于注意力的LSTM解码器，具备拷贝（指针）机制和覆盖，逐字生成输出。
• 拷贝机制通过一个门控标量 g_t（依赖于 c_t、s_t 和 x_{t-1}）在从词汇生成和从段落复制之间插值控制。
• 先使用交叉熵损失进行训练，然后进行策略梯度强化学习（带基线的REINFORCE）以优化任务特定的奖励（QG为BLEU，QA为ROUGE）。
• 在强化学习期间使用受计划采样启发的采样策略，从贪婪输出与金标准输出的混合中构造采样序列。

实验结果

研究问题

• RQ1 一个统一的编码器–解码器框架是否能够有效同时处理QG和生成式QA任务？
• RQ2 与先前方法相比，使用多视角匹配编码器是否能提升生成的问题和答案的质量？
• RQ3 策略梯度微调是否能够缓解暴露偏差并提升QG和QA的序列生成指标？
• RQ4 自动生成的问题是否能提升抽取式QA系统的性能，特别是在低资源数据情景中？

主要发现

• 所提出的MPQG模型在SQuAD数据集的划分上优于先前的QG方法，表明多视角查询理解的好处。
• 结合策略梯度强化学习的微调（MPQG+R）比仅MPQG进一步提升QG性能。
• 在MS-MARCO描述子集的生成式QA中，MPQG和MPQG+R优于若干基线模型，其中MPQG+R在比较的生成模型中达到最佳ROUGE-L。
• 使用MPQG+R生成的问题来扩充训练数据可提升基于抽取的QA性能，特别是在资源极低的情况下（例如金标准问题的10%）。
• 该模型展示了逐词生成答案的能力，而不要求答案在段落中逐字出现，解决生成式QA情景。
• 总体而言，结果支持查询理解对QG的重要性，以及策略梯度训练对暴露偏差的有效性。