[论文解读] Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

Christian Buck, Jannis Bulian+5 more|arXiv (Cornell University)|May 22, 2017

Topic Modeling被引用 82

一句话总结

本文将问答重新框定为一个强化学习问题，提出 AQA，一种通过与黑盒问答环境交互来重新表述问题以最大化问答质量的智能体，并在 SearchQA 上证明了显著的提升。

ABSTRACT

We frame Question Answering (QA) as a Reinforcement Learning task, an approach that we call Active Question Answering. We propose an agent that sits between the user and a black box QA system and learns to reformulate questions to elicit the best possible answers. The agent probes the system with, potentially many, natural language reformulations of an initial question and aggregates the returned evidence to yield the best answer. The reformulation system is trained end-to-end to maximize answer quality using policy gradient. We evaluate on SearchQA, a dataset of complex questions extracted from Jeopardy!. The agent outperforms a state-of-the-art base model, playing the role of the environment, and other benchmarks. We also analyze the language that the agent has learned while interacting with the question answering system. We find that successful question reformulations look quite different from natural language paraphrases. The agent is able to discover non-trivial reformulation strategies that resemble classic information retrieval techniques such as term re-weighting (tf-idf) and stemming.

研究动机与目标

• 在黑盒设置中通过迭代的问题重写来提升QA性能的动机。
• 开发一个端到端的以RL驱动的重写智能体，在用户与QA环境之间运行。
• 证明学习到的重写可以超越最先进的QA模型和基线启发式方法。
• 分析智能体重写的语言特征，并将其与经典信息检索技术联系起来。

提出的方法

• 将QA表述为一个RL问题，其中重写模型对初始问题生成多个改写。
• 使用在多语言翻译上预训练的序列到序列重写器，并通过策略梯度和方差减少基线来进行RL微调。
• 将基于BiDAF的环境作为黑盒问答系统，基于答案质量（逐词F1）返回答案和奖励。
• 训练一个基于CNN的答案选择器，利用F1派生信号从多个重写中挑选最佳答案。
• 通过多语言机器翻译数据（零-shot翻译）对重写器进行预训练，并利用单语复述数据（Paralex）进行微调，以提升改写质量。
• 使用基于CNN的答案选择器进行评估，并在SearchQA上与MI-SubQuery、Base-NMT和人类基线进行比较。

实验结果

研究问题

• RQ1 一个由RL驱动的重写智能体是否能够通过对黑盒问答系统进行多次自然语言改写查询来提升QA性能？
• RQ2 智能体学到的重写是什么样的，它们是否类似于经典IR技术（例如tf-idf加权、词干提取）？
• RQ3 端到端训练的AQA系统是否在SearchQA数据集上超过基线和人类表现？
• RQ4 智能体生成的语言与自然同义改写有何不同，它与QA模态有何关系？
• RQ5 预训练策略（多语言MT→单语改写数据）对最终QA性能有何影响？

主要发现

• AQA在SearchQA测试集上将BiDAF的绝对F1提升了11.4个百分点（相对F1提升32%）。
• 使用重写器给出的最佳假设在原始问题的基础上即可实现比BiDAF多2.2的F1提升。
• 一个专用的基于CNN的答案选择器，在重写候选上训练，在各条件下比MI-SubQuery和Base-NMT基线在F1上约高3%。
• Oracle式评估显示重写潜在的提升空间相当可观（Oracle EM接近50，Oracle F1接近58）。
• 智能体学习到非平凡的重写策略，类似于信息检索中的术语重 weighting 和词干提取等技术，与自然改写有所不同。
• 重写可以更长且包含更多术语（更高的DF术语、增加重复）以帮助神经QA编码器的对齐。