[论文解读] On Single and Multiple Representations in Dense Passage Retrieval

Craig Macdonald, Nicola Tonellotto+1 more|arXiv (Cornell University)|Aug 13, 2021

Topic Modeling参考文献 19被引用 5

一句话总结

本文对比了单表示（ANCE）与多表示（ColBERT）密集段落检索方法，表明尽管 ANCE 在响应时间和内存占用方面更高效，ColBERT 在 MAP 和 MRR@10 上显著优于 ANCE，尤其在困难、定义性及复杂查询上表现更优。本研究首次在相同条件下，基于 TREC 2019 和 MSMARCO 数据集，对这两种密集检索方法家族进行了直接比较。

ABSTRACT

The advent of contextualised language models has brought gains in search effectiveness, not just when applied for re-ranking the output of classical weighting models such as BM25, but also when used directly for passage indexing and retrieval, a technique which is called dense retrieval. In the existing literature in neural ranking, two dense retrieval families have become apparent: single representation, where entire passages are represented by a single embedding (usually BERT's [CLS] token, as exemplified by the recent ANCE approach), or multiple representations, where each token in a passage is represented by its own embedding (as exemplified by the recent ColBERT approach). These two families have not been directly compared. However, because of the likely importance of dense retrieval moving forward, a clear understanding of their advantages and disadvantages is paramount. To this end, this paper contributes a direct study on their comparative effectiveness, noting situations where each method under/over performs w.r.t. each other, and w.r.t. a BM25 baseline. We observe that, while ANCE is more efficient than ColBERT in terms of response time and memory usage, multiple representations are statistically more effective than the single representations for MAP and MRR@10. We also show that multiple representations obtain better improvements than single representations for queries that are the hardest for BM25, as well as for definitional queries, and those with complex information needs.

研究动机与目标

• 直接比较单表示（ANCE）与多表示（ColBERT）密集检索方法的有效性。
• 评估每种方法相对于 BM25 基线在多样化查询类型下的表现。
• 识别在哪些查询类别中一种方法显著优于另一种。
• 分析检索有效性与计算效率之间的权衡。
• 为未来结合两种表示类型优势的混合方法提供洞见。

提出的方法

• 本研究使用相同的 TREC 2019 和 MSMARCO Dev 数据集对 ANCE 与 ColBERT 进行测试，以确保公平比较。
• ANCE 使用单个 [CLS] 标记嵌入表示每个段落，而 ColBERT 为段落中的每个标记分别生成嵌入。
• 两种方法均使用 FAISS 近似最近邻索引进行检索。
• 最终排名通过查询嵌入与段落嵌入之间的余弦相似度计算得出，ColBERT 在标记级匹配上应用最大相似度聚合。
• 有效性通过标准信息检索指标进行评估：MAP、MRR@10 和特定查询子集的 Precision@10。
• 进行逐查询分析，以识别一种方法显著优于另一种的情况，包括对 ColBERT 中注意力矩阵的可视化。

实验结果

研究问题

• RQ1 单表示（ANCE）与多表示（ColBERT）密集检索方法在标准信息检索指标上的有效性如何比较？
• RQ2 在哪些查询类型中，多表示（ColBERT）显著优于单表示（ANCE），反之亦然？
• RQ3 在对 BM25 基线特别困难的查询上，这两种方法表现如何？
• RQ4 在响应时间和内存占用方面，ANCE 与 ColBERT 之间的计算权衡是什么？
• RQ5 逐查询分析能否揭示任一方法表示策略中的系统性弱点或优势？

主要发现

• 在 TREC 2019 数据集上，ColBERT 在 MAP 上显著优于 ANCE，且差异具有统计学显著性。
• 在 MSMARCO Dev 数据集上，ColBERT 的 MRR@10 高于 ANCE，表明其在前 10 名排名上的表现更优。
• 对于 BM25 基线表现最差的查询，多表示（ColBERT）相比单表示（ANCE）展现出更大的性能提升。
• 在定义性查询上，ColBERT 显著优于 ANCE，TREC 2019 中 19 个此类查询中有 16 个表现更优。
• ANCE 展现出更高的效率，其平均响应时间更低，内存占用更少，优于 ColBERT。
• 在某些情况下，ANCE 因单个 [CLS] 嵌入中的信息丢失而误解复杂查询，而 ColBERT 则偶尔因子词分词导致高相似度标记对（如 'ww1' 与 'ww2'）出现过拟合。