[论文解读] Introducing Neural Bag of Whole-Words with ColBERTer: Contextualized Late Interactions using Enhanced Reduction

Sebastian Hofstätter, Omar Khattab+3 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用 6

一句话总结

本文提出 ColBERTer，一种通过引入神经完整词袋（BOW2）和增强的降维技术来提升 ColBERT 的检索模型，显著降低存储空间与延迟，同时保持检索效果。通过学习独特的完整词表示并剪枝非必要向量，ColBERTer 实现最高达 2.5 倍的存储压缩，且索引大小与纯文本相当，仅需每个标记 1 维，同时在多个基准测试中保持强劲性能。

ABSTRACT

Recent progress in neural information retrieval has demonstrated large gains in effectiveness, while often sacrificing the efficiency and interpretability of the neural model compared to classical approaches. This paper proposes ColBERTer, a neural retrieval model using contextualized late interaction (ColBERT) with enhanced reduction. Along the effectiveness Pareto frontier, ColBERTer's reductions dramatically lower ColBERT's storage requirements while simultaneously improving the interpretability of its token-matching scores. To this end, ColBERTer fuses single-vector retrieval, multi-vector refinement, and optional lexical matching components into one model. For its multi-vector component, ColBERTer reduces the number of stored vectors per document by learning unique whole-word representations for the terms in each document and learning to identify and remove word representations that are not essential to effective scoring. We employ an explicit multi-task, multi-stage training to facilitate using very small vector dimensions. Results on the MS MARCO and TREC-DL collection show that ColBERTer can reduce the storage footprint by up to 2.5x, while maintaining effectiveness. With just one dimension per token in its smallest setting, ColBERTer achieves index storage parity with the plaintext size, with very strong effectiveness results. Finally, we demonstrate ColBERTer's robustness on seven high-quality out-of-domain collections, yielding statistically significant gains over traditional retrieval baselines.

研究动机与目标

• 解决神经信息检索模型中检索效果、存储效率与可解释性之间的权衡问题。
• 在不牺牲排序质量的前提下，降低 ColBERT 的高存储占用。
• 通过 BOW2 表示实现完整词级别的得分归因，提升可解释性。
• 在保持竞争力效果的同时，实现超低维向量存储（最低至 1D）。
• 在多样化的、分布外的检索数据集上展示模型的鲁棒性。

提出的方法

• 提出一种多阶段、多任务训练目标，联合优化单向量检索、多向量精炼与词法匹配组件。
• 通过将子词标记表示聚合为唯一完整词嵌入，提出神经完整词袋（BOW2），以减少向量数量。
• 应用简化的上下文停用词过滤（CS），识别并移除非必要的词表示。
• 引入精确匹配（EM）组件，仅在查询与文档之间匹配完整词标记，实现最小维度的得分计算。
• 通过专用的 Uni-ColBERTer 变体将向量维度降低至 1，实现索引大小与纯文本相当。
• 使用 95% 置信区间的随机效应元分析，评估在 7 个分布外数据集上的鲁棒性。

实验结果

研究问题

• RQ1 我们能否在保持或提升检索效果的同时，将 ColBERT 的存储占用减少最多 2.5 倍？
• RQ2 完整词表示是否能在不损失性能的前提下提升可解释性并减少向量数量？
• RQ3 1 维向量表示能否实现具有竞争力的效果与存储效率？
• RQ4 与强基线模型相比，ColBERTer 在多样化、分布外的检索数据集上表现如何？
• RQ5 增强的降维策略是否能在效果帕累托前沿上实现优于现有模型的更好权衡？

主要发现

• ColBERTer 相较于标准 ColBERT，将存储占用减少了最多 2.5 倍，且效果无显著下降。
• Uni-ColBERTer 使用 1D 向量时，索引存储大小与纯文本文档大小相当，同时保持了强劲的 nDCG@10 性能。
• ColBERTer 在全部 7 个分布外数据集上均显著优于 BM25，95% 置信区间显示改善一致。
• 在 TREC-COVID 数据集上，尽管因查询数量少导致置信区间较宽，ColBERTer 仍表现出对 BM25 的显著改进。
• ColBERTer 在所有数据集上与强稠密检索器 TAS-B 表现相当，无显著性能下降，且可解释性更优。
• 元分析结果确认，ColBERTer 始终优于 BM25，nDCG@10 的汇总效应量 SMD 为 0.17，且在大多数数据集中具有统计显著性。