[论文解读] Learning To Retrieve: How to Train a Dense Retrieval Model Effectively and Efficiently

Jingtao Zhan, Jiaxin Mao+3 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 42被引用 14

一句话总结

该论文提出了一种名为 Learning To Retrieve (LTRe) 的新型训练方法，用于密集检索模型，通过在训练期间执行完整语料库检索而非依赖负样本采样，显著提升了模型的有效性与效率。LTRe 的训练速度比以往最先进方法快 170 倍以上，并在性能上显著超越了稀疏与密集基线模型，即使在延迟约束下也优于 BM25-BERT 级联系统。

ABSTRACT

Ranking has always been one of the top concerns in information retrieval research. For decades, lexical matching signal has dominated the ad-hoc retrieval process, but it also has inherent defects, such as the vocabulary mismatch problem. Recently, Dense Retrieval (DR) technique has been proposed to alleviate these limitations by capturing the deep semantic relationship between queries and documents. The training of most existing Dense Retrieval models relies on sampling negative instances from the corpus to optimize a pairwise loss function. Through investigation, we find that this kind of training strategy is biased and fails to optimize full retrieval performance effectively and efficiently. To solve this problem, we propose a Learning To Retrieve (LTRe) training technique. LTRe constructs the document index beforehand. At each training iteration, it performs full retrieval without negative sampling and then updates the query representation model parameters. Through this process, it teaches the DR model how to retrieve relevant documents from the entire corpus instead of how to rerank a potentially biased sample of documents. Experiments in both passage retrieval and document retrieval tasks show that: 1) in terms of effectiveness, LTRe significantly outperforms all competitive sparse and dense baselines. It even gains better performance than the BM25-BERT cascade system under reasonable latency constraints. 2) in terms of training efficiency, compared with the previous state-of-the-art DR method, LTRe provides more than 170x speed-up in the training process. Training with a compressed index further saves computing resources with minor performance loss.

研究动机与目标

• 解决密集检索模型在训练（重新排序采样的负样本）与推理（从完整语料库中检索）之间存在的不一致性问题。
• 通过教导模型从整个语料库中检索相关文档而非仅重新排序有偏见的样本，提升密集检索的有效性。
• 提升大规模语料库的训练效率，减少训练时间与 GPU 资源消耗。
• 探究使用压缩索引以进一步降低内存占用，同时保持性能损失最小。
• 通过在训练与推理阶段保持一致的检索范围，实现训练与推理的一致性。

提出的方法

• LTRe 使用固定的预训练文档编码器对所有文档进行预编码，并将结果存储在向量索引中。
• 在每个训练步骤中，查询编码器生成批量查询表征，并用于在整个索引化语料库上执行完整检索。
• 模型参数基于完整的检索结果进行更新，直接优化模型从整个语料库中检索相关文档的能力。
• 该方法通过将完整检索作为主要优化信号，避免了负样本采样，确保了训练与推理之间的一致性。
• LTRe 支持压缩索引（如使用量化技术的 FAISS），以减少 GPU 内存使用，使在硬件资源有限的条件下训练大规模语料库成为可能。
• 训练过程设计为可扩展，完整检索操作的时间复杂度相对于语料库规模呈次线性。

实验结果

研究问题

• RQ1 在完整语料库检索上进行训练的密集检索模型，其泛化能力是否优于在采样负样本上训练的模型？
• RQ2 与现有的稀疏和密集基线相比，训练期间使用完整检索是否能显著提升检索有效性？
• RQ3 LTRe 的训练效率与 ANCE 等最先进方法相比如何，特别是在大规模语料库上的表现？
• RQ4 在不显著降低性能的前提下，LTRe 训练中可使用多大程度的压缩索引？
• RQ5 训练与推理阶段的检索范围一致性对模型性能是否至关重要？

主要发现

• 在 TREC 2019 段落检索任务上，LTRe 相较于先前最先进方法 ANCE 实现了 170 倍的训练速度提升。
• 在 TREC 2019 文档检索任务中，LTRe 在合理延迟约束下优于所有竞争的稀疏与密集检索基线模型，包括 BM25-BERT 级联系统。
• 使用 n=96 的压缩索引可将 GPU 内存使用量降低至未压缩版本的 3%，同时保持几乎相同的性能（TREC 2019 上 MRR@10 分别为 0.656 与 0.654）。
• 高度压缩的索引（n=12）将内存占用降至 0.6%，仍优于除 ANCE 外的所有基线模型，展现出强大的资源效率。
• 过度压缩（n=6）导致性能下降，与随机负样本采样相似，验证了索引质量的重要性。
• 当训练与推理阶段使用相同索引时，性能达到最佳，证实了检索范围一致性的关键作用。