[论文解读] COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List

Luyu Gao, Zhuyun Dai+1 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 35被引用 9

一句话总结

COIL 提出了一种上下文感知的倒排列表架构，用上下文增强的标记表示之间的向量相似度替代传统信息检索中的词汇匹配，实现在即兴检索基准上的最先进性能，同时保持低延迟——优于传统的词汇检索器和现代密集检索器（如 DPR 和 ColBERT）。

ABSTRACT

Classical information retrieval systems such as BM25 rely on exact lexical match and carry out search efficiently with inverted list index. Recent neural IR models shifts towards soft semantic matching all query document terms, but they lose the computation efficiency of exact match systems. This paper presents COIL, a contextualized exact match retrieval architecture that brings semantic lexical matching. COIL scoring is based on overlapping query document tokens' contextualized representations. The new architecture stores contextualized token representations in inverted lists, bringing together the efficiency of exact match and the representation power of deep language models. Our experimental results show COIL outperforms classical lexical retrievers and state-of-the-art deep LM retrievers with similar or smaller latency.

研究动机与目标

• 通过在精确匹配检索中引入上下文表示，解决传统词汇检索系统中的语义不匹配问题。
• 在保持倒排列表索引效率的同时，通过上下文向量实现语义感知匹配。
• 证明使用上下文表示的精确词汇匹配可超越传统和现代密集检索模型。
• 探究上下文感知的精确匹配是否能比启发式打分或软匹配更有效地捕捉复杂匹配模式。

提出的方法

• 使用预训练语言模型离线处理文档，生成上下文感知的标记表示。
• 构建倒排列表，其中每个条目将表面标记映射到其在文档中对应的上下文向量表示。
• 在搜索时，将查询标记嵌入为上下文向量，并通过倒排列表中的向量相似度与文档向量匹配。
• 通过重叠查询和文档标记表示之间的余弦相似度计算匹配得分。
• 系统支持完整上下文（CLS）和标记级（标记特定）表示，支持灵活的打分策略。
• 该架构兼容量化和近似搜索等优化技术，支持低延迟部署。

实验结果

研究问题

• RQ1 上下文表示是否能在不牺牲效率的前提下提升词汇检索中的精确匹配？
• RQ2 一种执行精确标记匹配但使用上下文向量的系统，是否能超越传统和神经密集检索模型？
• RQ3 与传统词汇匹配相比，上下文感知的精确匹配如何处理多义性和同义性？
• RQ4 在此框架中，表示维度、延迟和检索性能之间的权衡如何？

主要发现

• COIL 在 MS MARCO 和 TREC DL 2019 基准上均优于 BM25 和其他传统词汇检索器，MRR 和召回率更高。
• COIL-tok 使用 128 维标记表示时，在 DL2019 上的 MRR 高于 768 维基线，表明低维表示具有正则化效应。
• COIL 的搜索延迟低于 ColBERT 和 DPR，即使未使用近似搜索或量化技术，且在准确率更高时仍快于 BM25。
• COIL 在歧义词消歧方面表现更优，例如对 'cabinet' 和 'pass' 等词，能为语境合适的匹配分配更高的相似度得分。
• 同时使用 CLS 和标记级表示的完整 COIL 系统，尽管采用精确匹配，其性能仍与所有对所有匹配模型（如 ColBERT）相当或更优。
• COIL 的成功表明，使用上下文向量的精确匹配可捕捉到以往仅通过软的全对全匹配才能实现的复杂匹配模式。