[论文解读] Addressing Semantic Drift in Question Generation for Semi-Supervised Question Answering

Shiyue Zhang, Mohit Bansal|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 62被引用 11

一句话总结

本文提出语义增强型奖励——问题重述概率（QPP）与问题回答概率（QAP）——通过将生成的问题与上下文和答案对齐，缓解文本型问题生成（QG）中的语义漂移问题。结合这些奖励的强化学习方法在 SQuAD QG 任务上达到最先进性能，并通过半监督数据增强提升了 BiDAF 和 BERT QA 模型的性能，即使未引入新文章。

ABSTRACT

Text-based Question Generation (QG) aims at generating natural and relevant questions that can be answered by a given answer in some context. Existing QG models suffer from a "semantic drift" problem, i.e., the semantics of the model-generated question drifts away from the given context and answer. In this paper, we first propose two semantics-enhanced rewards obtained from downstream question paraphrasing and question answering tasks to regularize the QG model to generate semantically valid questions. Second, since the traditional evaluation metrics (e.g., BLEU) often fall short in evaluating the quality of generated questions, we propose a QA-based evaluation method which measures the QG model's ability to mimic human annotators in generating QA training data. Experiments show that our method achieves the new state-of-the-art performance w.r.t. traditional metrics, and also performs best on our QA-based evaluation metrics. Further, we investigate how to use our QG model to augment QA datasets and enable semi-supervised QA. We propose two ways to generate synthetic QA pairs: generate new questions from existing articles or collect QA pairs from new articles. We also propose two empirically effective strategies, a data filter and mixing mini-batch training, to properly use the QG-generated data for QA. Experiments show that our method improves over both BiDAF and BERT QA baselines, even without introducing new articles.

研究动机与目标

• 为解决文本型问题生成中的语义漂移问题，即生成的问题与上下文和答案在语义上发生偏离。
• 通过引入基于问答的评估指标，衡量模型对人工标注 QA 数据的模仿程度，以改进 QG 模型的评估方式。
• 通过使用高质量 QG 模型生成合成 QA 对，提升半监督问答性能。
• 开发有效策略——数据过滤与混合小批量训练——以将合成 QG 数据整合到 QA 微调中。

提出的方法

• 引入 QPP，基于预训练重述模型计算生成问题与真实问题重述概率的奖励。
• 引入 QAP，基于预训练 QA 模型计算给定答案是否能正确回答生成问题的概率作为奖励。
• 使用 QPP 和 QAP 奖励进行强化学习微调 QG 模型，以促进与上下文和答案的语义对齐。
• 提出两种合成数据生成方法：对每个现有上下文-答案对生成多个问题，以及从新的维基百科文章中生成 QA 对。
• 实施数据过滤机制以去除低质量的合成 QA 对，并在 QA 微调过程中采用混合小批量训练策略，平衡真实与合成数据。
• 使用基于问答的评估指标评估 QG 模型，衡量其在下游 QA 任务中对人工标注问题生成的模仿程度。

实验结果

研究问题

• RQ1 语义增强型奖励（QPP 与 QAP）是否能有效减少问题生成中的语义漂移？
• RQ2 与 BLEU 等传统指标相比，基于问答的评估指标是否更能反映 QG 模型的质量？
• RQ3 由 QG 模型生成的合成 QA 数据能否提升半监督问答性能？
• RQ4 在不导致性能下降的前提下，整合合成 QG 数据到 QA 训练中的最有效策略是什么？

主要发现

• 同时使用 QPP 和 QAP 奖励的 QG 模型在 SQuAD QG 基准上达到新的最先进性能，BLEU-1 提升 18.58，QAP 提升 50.01。
• 基于问答的评估指标显示，所提模型在生成下游 QA 任务训练数据方面最能模仿人工标注者，在 H10 数据上优于基线模型 60.49/71.81。
• 使用 QG 生成的合成数据进行半监督 QA 训练，使 BiDAF-QA 基线在测试集上提升 1.51/1.13 绝对点，即使未引入新文章。
• 使用 BERT-QG 模型并仅采用 QAP 奖励时，获得最佳整体 QG 性能，表明 QAP 单独使用时比 QPP 更有效。
• 该方法使强大的 BERT-QA 基线在测试集上提升 1.19/0.56 绝对点，即使未引入新文章，增益仍达 0.95/0.13。
• 性能在合成数据量达到 H2–H4 左右时趋于饱和，表明性能提升受限于 QG 质量而非数据数量。