[论文解读] Improving Passage Retrieval with Zero-Shot Question Generation

Devendra Singh Sachan, Michael Lewis+5 more|arXiv (Cornell University)|Apr 15, 2022

Topic Modeling被引用 4

一句话总结

本文提出无监督段落重排序（UPR），一种零样本重排序器，通过使用预训练语言模型计算从每个段落生成输入问题的可能性来提升段落检索效果。在无需微调或标注数据的情况下，UPR使无监督检索器的 top-20 检索准确率提升 6%-18%，并在开放域问答基准上达到新的 SOTA 结果。

ABSTRACT

We propose a simple and effective re-ranking method for improving passage retrieval in open question answering. The re-ranker re-scores retrieved passages with a zero-shot question generation model, which uses a pre-trained language model to compute the probability of the input question conditioned on a retrieved passage. This approach can be applied on top of any retrieval method (e.g. neural or keyword-based), does not require any domain- or task-specific training (and therefore is expected to generalize better to data distribution shifts), and provides rich cross-attention between query and passage (i.e. it must explain every token in the question). When evaluated on a number of open-domain retrieval datasets, our re-ranker improves strong unsupervised retrieval models by 6%-18% absolute and strong supervised models by up to 12% in terms of top-20 passage retrieval accuracy. We also obtain new state-of-the-art results on full open-domain question answering by simply adding the new re-ranker to existing models with no further changes.

研究动机与目标

• 在不依赖特定任务训练数据或微调的情况下，提升开放域段落检索效果。
• 开发一种重排序器，仅使用预训练语言模型即可实现查询与段落标记之间的深度交叉注意力。
• 仅通过预训练阅读器的推理和重排序后的段落，实现在开放域问答任务上的最先进性能。
• 证明无监督流水线可以超越强大的监督密集检索模型（如 DPR）。
• 探索零样本重排序在不同检索器、语言模型和数据集上的泛化性与鲁棒性。

提出的方法

• 重排序器使用预训练语言模型计算条件概率 p(问题 | 段落)，将问题生成视为相关性的代理指标。
• 以零样本方式应用此评分，检索任务无需微调或标注样本。
• 该方法可兼容任何检索系统，包括稀疏检索（如 BM25）和密集检索（如 DPR）系统。
• 该方法利用查询与段落标记之间的交叉注意力，强制模型考虑问题中的每个标记。
• 使用指令微调的语言模型（如 T0）以提升性能，提示词如“根据以下段落，生成一个它能回答的问题。”
• 重排序在检索后对 top-K 段落进行，根据问题生成可能性得分重新排序段落。

实验结果

研究问题

• RQ1 零样本问题生成模型是否能在无需任何特定任务微调的情况下有效重排序检索到的段落？
• RQ2 使用预训练语言模型计算问题可能性是否能提升在多样化数据集和检索器上的检索准确率？
• RQ3 无监督重排序方法是否能超越监督密集检索模型（如 DPR）？
• RQ4 预训练语言模型的选择（如指令微调 vs. 非指令微调）如何影响重排序性能？
• RQ5 当与预训练阅读器结合使用时，该重排序器在端到端开放域问答任务中的性能提升程度如何？

主要发现

• 当对 Contriever（一种无监督检索器）检索的 top-1000 段落进行重排序时，UPR 使 top-20 检索准确率绝对提升 6%-18%。
• 在 SQuAD-Open 和 Entity Questions 数据集上，UPR 分别比 BM25 提升了 14% 和 8% 的 top-20 准确率。
• 通过简单地重排序段落并使用预训练阅读器，UPR 在开放域问答任务上实现了新的 SOTA 结果，F1 分数最高提升 3 分。
• 该方法使强监督检索器（如 DPR）的 top-20 检索准确率最高提升 12%。
• 指令微调模型（如 T0）作为重排序器表现最佳，凸显了在零样本设置中提示工程的重要性。
• 性能提升在不同检索器（稀疏与密集）和预训练语言模型之间保持一致，表明具有强大的泛化能力。