[论文解读] ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT

Omar Khattab, Matei Zaharia|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 37被引用 189

一句话总结

ColBERT 引入一种晚期交互架构，使用 BERT 分别对查询和文档进行编码，并使用价格低廉的基于 MaxSim 的交互来评分相关性，从而实现离线文档索引和端到端检索，相较于以往基于 BERT 的排序器具有强精度和显著的速度提升。

ABSTRACT

Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to fine-tuning deep language models (LMs) for document ranking. While remarkably effective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for efficient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their fine-grained similarity. By delaying and yet retaining this fine-granular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations offline, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's effectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.

研究动机与目标

• 解决基于 BERT 的段落检索排名中的效率瓶颈。
• 提出一种晚期交互机制，将查询编码与文档编码分离，以实现离线索引。
• 利用基于 MaxSim 的交互在实现向量索引检索的同时保留细粒度匹配。
• 展示在不牺牲效果的前提下，对大型集合进行端到端检索的能力。

提出的方法

• 使用共享的基于 BERT 的编码器对查询和文档进行编码，以产生上下文化的嵌入袋。
• 在查询 [Q] 和文档 [D] 之间前缀特殊标记，并应用线性投影以获得固定大小的嵌入。
• 将晚期交互分数应用为查询和文档嵌入之间最大相似度之和（MaxSim），使用余弧相似度（通过归一化）或平方 L2 距离。
• 使用 Adam 优化进行端到端训练，目标是对 (query, positive doc, negative doc) 的成对损失。
• 离线索引文档嵌入，以实现快速检索，并支持使用 FAISS 的向量索引端到端检索。
• 为端到端检索，使用 FAISS IVFPQ 的两阶段剪枝方法在进行精确 ColBERT 评分之前筛选候选项。

实验结果

研究问题

• RQ1 ColBERT 在显著降低延迟的同时，能在多大程度上接近完整 BERT 基排序器的效果？
• RQ2 ColBERT 能否利用向量相似性索引支持对大型集合的端到端检索？
• RQ3 晚期交互和查询增强对 ColBERT 性能的贡献是什么？
• RQ4 在实际场景中，ColBERT 的离线索引成本和内存占用是多少？

主要发现

• ColBERT 在与非 BERT 基线的竞争性效果方面具有竞争力，并且在许多现有神经排序器上取得改进，同时提供可观的加速。
• 在再排序设置中，ColBERT 提供大约 170x 的加速，与标准基于 BERT 的排序器相比，FLOPs 量级减少个数量级（ColBERT (re-rank) vs. BERT baselines）。
• ColBERT (L2) 的端到端检索在 MS MARCO 上达到 36.0 MRR@10，端到端延迟为 458 ms，Recall@50/200/1000 分别为 82.9/92.3/96.8，显示出实际可用的端到端性能。
• 在单台服务器、四块 GPU 的条件下对文档进行嵌入计算的索引在数小时内即可完成（MS MARCO 规模），且空间占用适中（数十 GiB）。
• 系统的消融研究表明，晚期交互、MaxSim 和编码器设计选择对于 ColBERT 的有效性至关重要。