[论文解读] Learning Passage Impacts for Inverted Indexes

Antonio Mallia, Omar Khattab+2 more|arXiv (Cornell University)|Apr 24, 2021

Topic Modeling参考文献 24被引用 7

一句话总结

DeepImpact 提出了一种神经术语加权方案，通过上下文语言模型为文档中的标记学习语义影响分数，实现使用标准倒排索引的高效检索。其在效果指标上相比先前的一阶段方法最高提升17%，并与 ColBERT 等重排序模型结合时可实现最高5.1倍的加速。

ABSTRACT

Neural information retrieval systems typically use a cascading pipeline, in which a first-stage model retrieves a candidate set of documents and one or more subsequent stages re-rank this set using contextualized language models such as BERT. In this paper, we propose DeepImpact, a new document term-weighting scheme suitable for efficient retrieval using a standard inverted index. Compared to existing methods, DeepImpact improves impact-score modeling and tackles the vocabulary-mismatch problem. In particular, DeepImpact leverages DocT5Query to enrich the document collection and, using a contextualized language model, directly estimates the semantic importance of tokens in a document, producing a single-value representation for each token in each document. Our experiments show that DeepImpact significantly outperforms prior first-stage retrieval approaches by up to 17% on effectiveness metrics w.r.t. DocT5Query, and, when deployed in a re-ranking scenario, can reach the same effectiveness of state-of-the-art approaches with up to 5.1x speedup in efficiency.

研究动机与目标

• 解决传统词频检索在查询与文档之间语义不匹配方面的局限性。
• 在保持与标准倒排索引系统兼容的前提下，提升一阶段检索的效果。
• 通过提升一阶段候选集质量，降低神经重排序的计算成本。
• 克服先前方法（如 DeepCT）独立评分的局限性，实现共适应的影响评分。
• 将文档扩展与上下文术语重要性估计整合到统一的、索引友好的框架中。

提出的方法

• 利用 DocT5Query 为每个文档生成查询候选，通过语义相关术语丰富文档表示。
• 使用微调后的 BERT 模型为每个文档中的每个标记计算单一语义影响分数，捕捉上下文相关的相关性。
• 将这些影响分数转换为适合存储在标准倒排索引中的整数值，同时保持效率。
• 通过可微目标端到端优化影响分数，以最大化相关查询-文档对的相关性。
• 将学习到的影响分数集成到词袋检索框架中，替代标准词频。
• 通过预计算并索引影响分数，实现高效查询处理，允许使用标准倒排索引结构进行快速检索。

实验结果

研究问题

• RQ1 我们能否通过为文档中单个标记学习语义影响分数来提升一阶段检索的效果？
• RQ2 与独立标记评分相比，学习跨术语的共适应影响分数在检索效果上表现如何？
• RQ3 神经影响评分方法能否在不牺牲速度的前提下，高效部署于标准倒排索引系统中？
• RQ4 通过 DocT5Query 生成的增强文档表示，在多大程度上提升了第一阶段候选集的质量？
• RQ5 与端到端神经方法相比，使用 DeepImpact 作为第一阶段检索器是否能实现更快、更有效的重排序？

主要发现

• DeepImpact 在 MRR@10 和 NDCG@10 等标准检索指标上相比 DocT5Query 最高提升17%。
• 作为第一阶段检索器使用时，DeepImpact 在所有截断级别下均达到比所有基线更高的召回率，尤其在低截断点（如10和20）时差距显著。
• DeepImpact + ColBERT 重排序器在所有测试集上的 MRR@10 均高于 ColBERT 的端到端 E2E 方法，证明了流水线效果的提升。
• 由于第一阶段候选集质量更高，DeepImpact + ColBERT 流水线相比 ColBERT E2E 实现了 4.4× 到 5.1× 的加速。
• 在截断点 1000 时，DeepImpact 在 MSMARCO Dev 上达到 94.8% 的召回率，优于 BM25（85.8%）、DeepCT（91.0%）和 DocT5Query（94.7%）。
• DeepImpact 在效果上匹配或超过最先进的模型（如 ColBERT E2E），同时通过高效的索引和候选选择实现显著更快的查询处理速度。