[论文解读] ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction

Keshav Santhanam, Omar Khattab+3 more|arXiv (Cornell University)|Dec 2, 2021

Topic Modeling被引用 12

一句话总结

ColBERTv2 提出了一种轻量级的晚期交互检索模型，通过知识蒸馏与难样本挖掘实现去噪监督，并结合残差压缩技术，将存储空间减少6–10倍，同时在域内和域外基准测试中均实现了最先进水平的检索性能，包括长尾和领域特定任务。

ABSTRACT

Neural information retrieval (IR) has greatly advanced search and other knowledge-intensive language tasks. While many neural IR methods encode queries and documents into single-vector representations, late interaction models produce multi-vector representations at the granularity of each token and decompose relevance modeling into scalable token-level computations. This decomposition has been shown to make late interaction more effective, but it inflates the space footprint of these models by an order of magnitude. In this work, we introduce ColBERTv2, a retriever that couples an aggressive residual compression mechanism with a denoised supervision strategy to simultaneously improve the quality and space footprint of late interaction. We evaluate ColBERTv2 across a wide range of benchmarks, establishing state-of-the-art quality within and outside the training domain while reducing the space footprint of late interaction models by 6--10$\ imes$.

研究动机与目标

• 解决晚期交互模型的高存储成本问题，后者需存储数十亿个细粒度的标记级嵌入向量，导致大规模部署不切实际。
• 提升晚期交互模型在训练分布之外的鲁棒性与泛化能力，尤其针对长尾和领域特定查询。
• 在不牺牲检索质量的前提下，减少晚期交互模型的存储空间占用，使其存储效率可与单向量模型相媲美。
• 构建一个新的评估基准 LoTTE，用于在真实世界场景中评估检索模型在自然、长尾信息检索查询上的表现。
• 证明通过改进的监督信号与高效压缩，晚期交互模型可实现最先进性能，从而挑战单向量方法的主导地位。

提出的方法

• 通过交叉编码器蒸馏生成去噪监督信号，提升 ColBERTv2 中交互机制的质量。
• 在微调过程中采用难负样本挖掘，通过强调具有挑战性的负样本提升模型鲁棒性。
• 对标记级嵌入实施残差压缩，将存储需求降低6–10倍，同时保持检索性能不变。
• 利用晚期交互的内在结构——相关性通过标记级相似度的最大池化计算——实现高效压缩。
• 保留 ColBERT 中的 MaxSim 交互机制，该机制将相关性计算为查询与文档标记嵌入之间最大相似度的总和。
• 在 MS MARCO Passage Ranking 上训练 ColBERTv2，并在包括 BEIR 和用于长尾主题的新 LoTTE 基准在内的多样化基准上进行评估。

实验结果

研究问题

• RQ1 通过高效压缩，晚期交互模型是否能在显著降低存储空间占用的前提下实现最先进检索性能？
• RQ2 通过知识蒸馏与难负样本挖掘实现的去噪监督，是否能提升晚期交互模型在训练分布之外的泛化能力？
• RQ3 压缩后的晚期交互模型是否能在域外和长尾检索任务中超越现有的单向量与密集检索模型？
• RQ4 LoTTE 基准在评估真实世界中自然的信息检索查询（尤其是长尾主题）的检索性能方面是否有效？
• RQ5 残差压缩在不损害推理效率的前提下，能在多大程度上保持晚期交互模型的检索质量？

主要发现

• ColBERTv2 在 MS MARCO Passage Ranking 基准上实现了所有独立检索器中最高的 MRR@10，创下新的最先进水平。
• 在28项域外测试中的22项——包括 BEIR 和 LoTTE——ColBERTv2 表现最佳，相对优于次优模型高达8%。
• 通过残差压缩，ColBERTv2 将晚期交互模型的存储空间占用减少了6–10倍，使其与典型单向量模型相当。
• ColBERTv2 在长尾和领域特定查询上表现出色，这一结论得到 LoTTE 基准的验证，该基准评估了 StackExchange 和 Wikipedia 查询中自然搜索意图的表现。
• 知识蒸馏与难负样本挖掘的结合显著提升了模型质量，使 ColBERTv2 在许多场景下甚至超越了高度调优的单向量模型。
• 尽管因蒸馏引入了更高的训练复杂度，ColBERTv2 仍保持了低推理延迟与高效的存储，适合实际部署。