[论文解读] A Replication Study of Dense Passage Retriever

Xueguang Ma, Kai Sun+2 more|arXiv (Cornell University)|Apr 12, 2021

Topic Modeling参考文献 12被引用 27

一句话总结

本文复现了 Dense Passage Retriever (DPR) 并展示 BM25 与密集–稀疏混合方法可以超越原始 DPR 的结论，同时通过将检索器信号与修订的答案范围评分相结合，实现端到端问答的改进。

ABSTRACT

Text retrieval using learned dense representations has recently emerged as a promising alternative to "traditional" text retrieval using sparse bag-of-words representations. One recent work that has garnered much attention is the dense passage retriever (DPR) technique proposed by Karpukhin et al. (2020) for end-to-end open-domain question answering. We present a replication study of this work, starting with model checkpoints provided by the authors, but otherwise from an independent implementation in our group's Pyserini IR toolkit and PyGaggle neural text ranking library. Although our experimental results largely verify the claims of the original paper, we arrived at two important additional findings that contribute to a better understanding of DPR: First, it appears that the original authors under-report the effectiveness of the BM25 baseline and hence also dense--sparse hybrid retrieval results. Second, by incorporating evidence from the retriever and an improved answer span scoring technique, we are able to improve end-to-end question answering effectiveness using exactly the same models as in the original work.

研究动机与目标

• 使用独立实现和作者提供的检查点来评估原始 DPR 结果的可复现性。
• 在标准问答数据集上评估密集检索、BM25 基线，以及密集–稀疏混合检索。
• 通过整合检索器信号和改进的答案区间评分，探索端到端问答的提升。
• 检验不同证据融合策略对最终答案提取的影响。

提出的方法

• 使用独立的 Pyserini 和 PyGaggle 实现，复现 DPR 的检索-阅读器架构，并从作者提供的检查点开始。
• 在五个问答数据集（NQ、TriviaQA、WQ、CuratedTREC、SQuAD）上比较密集检索、BM25 稀疏检索与混合方法。
• 通过在端到端问答中将检索器分数与阅读器分数结合，实验不同的融合策略。
• 评估两种答案区间评分方法：原始 DPR 技术和 Mao 等人（2020）的方法——有无检索器分数融合。
• 通过在开发数据上进行网格搜索来调整超参数（alpha、beta、gamma）；进行显著性检验（配对 t 检验并进行 Bonferroni 校正）。
• 在 Pyserini（检索）和 PyGaggle（神经排序）工具包中提供复现代码。

实验结果

研究问题

• RQ1 在独立实现和检查点使用下，原始 DPR 的性能是否保持？
• RQ2 BM25 相对于密集 DPR 的相对强度如何，密集–稀疏混合是否提供持续的提升？
• RQ3 通过融合检索器信号并采用其他答案区间评分方法，端到端问答的性能是否可以得到提升？
• RQ4 检索选择（k）和证据融合如何影响各数据集的端到端问答准确性？

主要发现

• 密集检索结果与原始 DPR 发现高度一致，支持 DPR 的有效性。
• 复现中的 BM25 基线优于原论文报告的 BM25 指标，在前 20 名的提升（≈7 点）大于前 100 名的提升（≈5 点）。
• 密集–稀疏混合优于单独的 BM25，且常常优于密集检索，在大多数数据集上具有统计显著的提升。
• 将检索器分数与阅读器分数结合并使用 Mao et al. (2020) 的区间评分，在端到端 EM 上相对于基线复现提升约三点。
• 通过使用检索器信号进行最终证据融合并应用 Mao et al. 的区间评分技术结合检索器融合，端到端问答性能在 NQ 和 TriviaQA 上实现统计显著的提升。