[论文解读] DynamicRetriever: A Pre-training Model-based IR System with Neither Sparse nor Dense Index

Yujia Zhou, Jing Yao+3 more|arXiv (Cornell University)|Mar 1, 2022

Information Retrieval and Search Behavior被引用 10

一句话总结

DynamicRetriever 提出了一种基于预训练模型的新型信息检索系统，该系统用统一的语言模型替代了传统的稀疏索引和密集索引，通过文档ID解码器直接从查询生成文档ID。该方法在 MS MARCO 数据集上实现了最先进性能，相较于密集检索基线模型，MRR 提升最高达 26%，证明了无需显式索引结构的模型学习文档索引的有效性。

ABSTRACT

Web search provides a promising way for people to obtain information and has been extensively studied. With the surgence of deep learning and large-scale pre-training techniques, various neural information retrieval models are proposed and they have demonstrated the power for improving search (especially, the ranking) quality. All these existing search methods follow a common paradigm, i.e. index-retrieve-rerank, where they first build an index of all documents based on document terms (i.e., sparse inverted index) or representation vectors (i.e., dense vector index), then retrieve and rerank retrieved documents based on similarity between the query and documents via ranking models. In this paper, we explore a new paradigm of information retrieval with neither sparse nor dense index but only a model. Specifically, we propose a pre-training model-based IR system called DynamicRetriever. As for this system, the training stage embeds the token-level and document-level information (especially, document identifiers) of the corpus into the model parameters, then the inference stage directly generates document identifiers for a given query. Compared with existing search methods, the model-based IR system has two advantages: i) it parameterizes the traditional static index with a pre-training model, which converts the document semantic mapping into a dynamic and updatable process; ii) with separate document identifiers, it captures both the term-level and document-level information for each document. Extensive experiments conducted on the public search benchmark MS MARCO verify the effectiveness and potential of our proposed new paradigm for information retrieval.

研究动机与目标

• 通过用学习得到的模型参数替代静态稀疏或密集索引，消除对传统索引的依赖。
• 探索一种新的信息检索范式，即直接通过统一的预训练模型执行文档检索，实现动态且可更新的语义映射。
• 通过在预训练过程中联合学习词元级、文档级和文档标识符表示，提升检索性能。
• 评估基于模型的信息检索方法在大规模语料上的可扩展性和鲁棒性，特别是在分布式环境下的表现。

提出的方法

• 模型使用预训练语言模型（PLM）编码器生成上下文感知的查询表示。
• 通过一个专用的文档ID解码器（词汇表为文档标识符）学习直接从查询嵌入中预测相关文档。
• 模型通过多种预训练目标进行预训练：掩码语言建模、文档级重建和段落级重建，以将文档内容和标识符嵌入到模型参数中。
• 通过查询-文档对进行微调，使查询表示与正确的文档ID对齐。
• 为提升可扩展性，采用分布式模型变体，将语料库划分为多个组，每组拥有独立的文档ID解码器，并通过基于得分的排序合并结果。
• 系统通过将文档ID视为可学习的词元，避免了传统索引结构，实现了端到端的训练与推理。

实验结果

研究问题

• RQ1 预训练语言模型是否能够通过直接预测文档标识符，替代信息检索中的稀疏和密集索引？
• RQ2 联合学习词元级、文档级和文档标识符表示对检索性能有何影响？
• RQ3 预训练任务和微调对模型检索相关文档能力的影响如何？
• RQ4 该模型在大规模语料上的可扩展性如何？在分布式部署中面临哪些挑战？

主要发现

• DynamicRetriever 在 MS MARCO 上实现了 Recall@20 为 0.8861，MRR 为 0.5728，相较于密集检索基线 D-OverDense，MRR 提升 26.01%。
• 移除预训练阶段后，MRR 下降 99.66%，证实预训练对于学习文档语义和标识符至关重要。
• 跳过微调后，MRR 下降 48.54%，表明使用查询-文档对进行微调对于对齐查询与文档表示至关重要。
• 分布式模型变体的 Recall@20 为 0.4724，但在合并结果后性能显著下降，原因是各组间得分分布不一致。
• 基于模型的方法实现了动态、可更新的文档检索，无需维护静态索引，为信息检索提供了新范式。