[论文解读] EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System

Sofian Chaybouti, Achraf Saghe+1 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 19被引用 4

一句话总结

EfficientQA 提出了一种基于 RoBERTa 的短语索引问答系统，通过使用与问题无关的候选抽取和孪生网络训练，将问题和答案候选映射到共享的密集向量空间中，从而实现高效的最近邻搜索。该方法在 PIQA 基准测试中取得了最先进性能，相较于之前的方法在精确匹配上提升 1.3 分，在 F1 分数上提升 1.4 分，且使用的是更小的 RoBERTa-base 模型，而非 BERT-large 模型。

ABSTRACT

State-of-the-art extractive question-answering models achieve superhuman performances on the SQuAD benchmark. Yet, they are unreasonably heavy and need expensive GPU computing to answer questions in a reasonable time. Thus, they cannot be used in the open-domain question-answering paradigm for real-world queries on hundreds of thousands of documents. In this paper, we explore the possibility of transferring the natural language understanding of language models into dense vectors representing questions and answer candidates to make question-answering compatible with a simple nearest neighbor search task. This new model, which we call EfficientQA, takes advantage of the pair of sequences kind of input of BERT-based models to build meaningful, dense representations of candidate answers. These latter are extracted from the context in a question-agnostic fashion. Our model achieves state-of-the-art results in Phrase-Indexed Question Answering (PIQA), beating the previous state-of-art by 1.3 points in exact-match and 1.4 points in f1-score. These results show that dense vectors can embed rich semantic representations of sequences, although these were built from language models not originally trained for the use case. Thus, to build more resource-efficient NLP systems in the future, training language models better adapted to build dense representations of phrases is one of the possibilities.

研究动机与目标

• 通过利用密集向量索引实现高效推理，解决重型抽取式问答模型在开放域设置下的可扩展性限制。
• 通过将候选抽取与问题编码解耦，减少搜索空间，提升开放域问答中的效率。
• 证明预训练语言模型生成的密集表示能够有效编码短语级语义，适用于最近邻检索。
• 弥合高效短语索引模型与完整上下文、问题感知型问答系统之间的性能差距。
• 通过轻量级索引与推理，实现仅在 CPU 或低资源环境下的问答系统部署。

提出的方法

• 使用基于 RoBERTa 的模型，通过联合预测起始位置，以与问题无关的方式从文档中抽取候选答案。
• 采用孪生网络架构，将问题和候选答案映射到共享的密集向量空间。
• 使用对比学习与三元组损失进行模型训练，以最大化问题-答案对之间的语义相似度，同时最小化与负样本对的相似度。
• 离线索引所有候选答案向量，通过余弦相似度实现在线推理的简单最近邻搜索。
• 利用 RoBERTa-base 的上下文表示生成高质量的密集向量，而无需在索引过程中进行问题感知微调。
• 采用混合精度训练与梯度累积，以减少单张 24GB GPU 上的训练时间和显存占用。

实验结果

研究问题

• RQ1 预训练语言模型生成的密集向量表示是否能有效编码短语级语义，以实现问答任务中高效的最近邻检索？
• RQ2 尽管在索引阶段缺乏问题上下文，与问题无关的候选抽取是否足以减少搜索空间并提升检索准确率？
• RQ3 当采用优化的密集表示学习时，较小的 RoBERTa-base 模型是否能在短语索引问答中超越更大的 BERT-large 模型？
• RQ4 与独立预测相比，联合建模起始与结束位置概率是否能显著提升候选质量？
• RQ5 在不同训练数据规模的语言中，高效短语索引模型与完整上下文问答模型之间的性能差距如何变化？

主要发现

• EfficientQA 在 PIQA 基准测试中达到 74.9% 的精确匹配与 83.1% 的 F1 分数，分别优于之前的 SOTA 方法 DENSPI 1.3 分与 1.4 分。
• 所提出的候选抽取架构通过联合建模起始与结束位置，对 100 个候选的精确匹配达到 92.3%，F1 分数达到 96.7%，显著优于独立预测基线（使用束搜索时为 54.1% EM 与 72.4% F1）。
• 尽管使用的是更小的 RoBERTa-base 模型（125M 参数），EfficientQA 仍超越了使用更大 BERT-large 模型（340M 参数）的 DENSPI，证明了该方法的高效性。
• 在 FQuAD 基准测试中，EfficientQA 在法语上的精确匹配为 64.4%，F1 分数为 76.0%，与微调后的 CamemBERT 模型相比，精确匹配差距为 13.2 分，F1 分数差距为 11.3 分，表明在低资源语言中仍有改进空间。
• 该模型在单张 24GB GPU 上，通过混合精度训练与梯度累积，约一周内完成训练，批量大小等效于 32，显示出较低的训练资源需求。
• 系统通过最近邻搜索实现高效推理，显著降低了在线部署过程中对昂贵 GPU 推理的依赖。