[论文解读] A framework for automatic question generation from text using deep reinforcement learning.

Vishwajeet Kumar, Ganesh Ramakrishnan+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 3被引用 37

一句话总结

本文提出了一种新颖的深度强化学习框架，用于自动问题生成，通过联合优化生成器与评估器来提升问题的语义和结构质量。通过使用结构感知与语义感知的序列到序列生成方法，并结合复制与覆盖机制，同时基于BLEU、GLEU和ROUGE-L的QG专用奖励函数进行训练，该方法在SQuAD基准测试中实现了自动评估与人工评估的最先进性能。

ABSTRACT

Automatic question generation (QG) is a useful yet challenging task in NLP. Recent neural network-based approaches represent the state-of-the-art in this task. In this work, we attempt to strengthen them significantly by adopting a holistic and novel generator-evaluator framework that directly optimizes objectives that reward semantics and structure. The {\it generator} is a sequence-to-sequence model that incorporates the {\it structure} and {\it semantics} of the question being generated. The generator predicts an answer in the passage that the question can pivot on. Employing the copy and coverage mechanisms, it also acknowledges other contextually important (and possibly rare) keywords in the passage that the question needs to conform to, while not redundantly repeating words. The {\it evaluator} model evaluates and assigns a reward to each predicted question based on its conformity to the {\it structure} of ground-truth questions. We propose two novel QG-specific reward functions for text conformity and answer conformity of the generated question. The evaluator also employs structure-sensitive rewards based on evaluation measures such as BLEU, GLEU, and ROUGE-L, which are suitable for QG. In contrast, most of the previous works only optimize the cross-entropy loss, which can induce inconsistencies between training (objective) and testing (evaluation) measures. Our evaluation shows that our approach significantly outperforms state-of-the-art systems on the widely-used SQuAD benchmark as per both automatic and human evaluation.

研究动机与目标

• 解决自动问题生成（QG）中训练目标与评估指标之间的差距，该差距常导致模型行为不一致。
• 通过直接优化与真实问题模式的一致性，提升生成问题的语义与结构保真度。
• 开发一个整体的生成器-评估器框架，通过强化学习使训练与评估保持一致。
• 引入QG专用的奖励函数，以评估生成问题在文本一致性与答案一致性方面的表现。
• 通过生成器中的复制与覆盖机制，减少冗余并提升关键段落术语的覆盖度。

提出的方法

• 生成器使用增强了复制与覆盖机制的序列到序列模型，以保留段落中罕见且上下文重要的关键词。
• 生成器被训练以预测问题可依赖的段落中的答案跨度，确保答案的相关性。
• 评估器基于BLEU、GLEU和ROUGE-L等指标，利用与真实问题的结构相似性分配奖励。
• 提出两种新颖的奖励函数：一种用于文本一致性（问题与真实问题的风格和形式匹配程度），另一种用于答案一致性（问题与预测答案的对齐程度）。
• 该框架采用深度强化学习，利用评估器的奖励来优化生成器，使训练目标与下游评估指标保持一致。
• 训练过程直接优化评估指标，而非仅依赖交叉熵损失，从而减少训练与推理性能之间的差异。

实验结果

研究问题

• RQ1 基于强化学习的框架是否能相比标准序列到序列模型，提升自动生成问题的语义与结构质量？
• RQ2 QG专用奖励函数——特别是衡量文本一致性和答案一致性的函数——在引导生成过程方面的有效性如何？
• RQ3 整合复制与覆盖机制在不产生冗余的情况下，对关键段落术语的保留程度有多大提升？
• RQ4 将训练目标与评估指标（如BLEU、ROUGE-L）对齐是否能提升在SQuAD等标准基准上的性能？
• RQ5 所提出的生成器-评估器框架在自动评估与人工评估中，相较于最先进QG系统的表现如何？

主要发现

• 所提出的框架在SQuAD基准测试的自动评估中显著优于最先进系统，展现出在标准指标上的优越性能。
• 人工评估确认，该框架生成的问题比现有方法更流畅、更相关且结构更准确。
• 使用QG专用奖励函数可提升答案一致性和文本一致性，减少幻觉与无关内容。
• 复制与覆盖机制的整合显著改善了段落关键术语的保留，最小化了冗余或无关词汇的使用。
• 该框架通过将强化学习奖励与标准NLP评估指标对齐，有效弥合了训练目标与评估指标之间的差距。
• 该模型在不依赖单一交叉熵损失的情况下，于SQuAD上实现了最先进结果，凸显了在问题生成中基于奖励训练的优势。