[论文解读] Efficient and Robust Question Answering from Minimal Context over Documents

Sewon Min, Victor W. Zhong+2 more|ArXiv.org|May 21, 2018

Topic Modeling参考文献 32被引用 28

一句话总结

本文提出了一种最小上下文问答系统，通过轻量级句子选择器仅选取文档中最具相关性的句子，显著减少了训练和推理时间（分别最多提升15倍和13倍），同时在SQuAD、NewsQA、TriviaQA、SQuAD-Open和SQuAD-Adversarial上保持或提升了准确率。该方法通过在流水线早期过滤掉误导性句子，增强了对对抗性输入的鲁棒性。

ABSTRACT

Neural models for question answering (QA) over documents have achieved significant performance improvements. Although effective, these models do not scale to large corpora due to their complex modeling of interactions between the document and the question. Moreover, recent work has shown that such models are sensitive to adversarial inputs. In this paper, we study the minimal context required to answer the question, and find that most questions in existing datasets can be answered with a small set of sentences. Inspired by this observation, we propose a simple sentence selector to select the minimal set of sentences to feed into the QA model. Our overall system achieves significant reductions in training (up to 15 times) and inference times (up to 13 times), with accuracy comparable to or better than the state-of-the-art on SQuAD, NewsQA, TriviaQA and SQuAD-Open. Furthermore, our experimental results and analyses show that our approach is more robust to adversarial inputs.

研究动机与目标

• 探究在文档型问答中回答问题所需的最小上下文，发现大多数问题仅需少数句子即可回答。
• 开发一种可扩展的问答系统，通过仅选择每道问题最相关的句子来减少计算成本，而非处理整个文档。
• 通过在问答模型接收之前过滤掉误导性或对抗性句子，提升对对抗性输入的鲁棒性。
• 构建一个灵活的框架，可与现有问答模型集成，无需端到端微调，实现即插即用的效率提升。

提出的方法

• 设计了一个句子选择器，用于识别回答每个问题所需的最小句子集合，动态选择每道问题不同数量的句子，而非使用固定窗口。
• 选择器采用三种关键技术：从预训练模型迁移权重、通过句子掩码进行数据增强，以及分数归一化以提高选择的可靠性。
• 该方法作为标准问答模型之前的预处理步骤运行，兼容现有架构（如DCN+），无需端到端微调。
• 系统通过一个流水线进行评估，句子选择器仅将相关句子输入问答模型，从而减少上下文长度和计算负载。
• 该方法在五个数据集上进行评估，涵盖不同文档长度，包括对抗性变体，以评估效率与鲁棒性。
• 句子选择器通过结合答案跨度的监督信号与对比学习进行训练，以优先选择包含答案的句子。

实验结果

研究问题

• RQ1 在现有问答数据集中，回答一个问题所需的最小上下文（以句子数量计）是多少？
• RQ2 一个轻量级句子选择器若能动态选择可变长度的句子集合，是否可在不牺牲准确率的前提下提升问答效率？
• RQ3 减少上下文长度如何影响模型对对抗性输入的鲁棒性？
• RQ4 能否将模块化的句子选择组件有效整合到现有问答模型中，以提升训练与推理速度？
• RQ5 过滤掉无关或对抗性句子是否能提升抽取式问答中预测的可靠性？

主要发现

• 在SQuAD上，92%的可回答问题仅需单个句子即可回答，表明大多数问题对上下文的需求极小。
• 所提系统在多个数据集（包括SQuAD和TriviaQA）上，训练时间最多减少15倍，推理时间最多减少13倍。
• 在SQuAD-Adversarial上，最小上下文方法在AddSent和AddOneSent任务上分别比全文档基线高出11.1和11.5 F1分，展现出更优的鲁棒性。
• 句子选择器成功过滤了对抗性句子，使问答模型即使在文档中存在对抗性句子时，也能聚焦于正确答案跨度。
• 该方法在SQuAD、NewsQA、TriviaQA、SQuAD-Open和SQuAD-Adversarial上达到最先进或具有竞争力的性能，准确率与现有模型相当或更优。
• 该方法具有模块化特性，与现有问答模型兼容，可在无需重训练或架构修改的情况下实现显著加速。