[论文解读] Off the Beaten Path: Let's Replace Term-Based Retrieval with k-NN Search

Leonid Boytsov, David Novák+2 more|arXiv (Cornell University)|Oct 31, 2016

Algorithms and Data Compression参考文献 73被引用 39

一句话总结

本文提出用一种新颖的非度量相似度函数（结合BM25与IBM Model 1得分）替代传统的基于词项的检索，采用k-NN搜索以克服词汇不匹配问题。该方法实现了高效、近似k-NN搜索，速度接近暴力搜索的100倍，同时相比BM25将召回率最高提升了21.6%，证明k-NN在速度与效果上均可超越标准倒排索引流水线。

ABSTRACT

Retrieval pipelines commonly rely on a term-based search to obtain candidate records, which are subsequently re-ranked. Some candidates are missed by this approach, e.g., due to a vocabulary mismatch. We address this issue by replacing the term-based search with a generic k-NN retrieval algorithm, where a similarity function can take into account subtle term associations. While an exact brute-force k-NN search using this similarity function is slow, we demonstrate that an approximate algorithm can be nearly two orders of magnitude faster at the expense of only a small loss in accuracy. A retrieval pipeline using an approximate k-NN search can be more effective and efficient than the term-based pipeline. This opens up new possibilities for designing effective retrieval pipelines. Our software (including data-generating code) and derivative data based on the Stack Overflow collection is available online.

研究动机与目标

• 为解决信息检索中的词汇鸿沟问题，即由于同义或多义导致查询与文档词项无法匹配。
• 证明使用非度量、非对称相似度函数（如BM25+Model 1）的k-NN搜索可超越传统基于词项的倒排索引流水线。
• 尽管复杂相似度函数的精确搜索计算成本高昂，仍能通过近似k-NN算法实现高效、可扩展的检索。
• 表明为弥合词汇鸿沟，需大量词项关联（如每个查询词项约15,000个），这在基于词项的索引中不可行，但在k-NN框架中可行。

提出的方法

• 提出一种相似度函数，结合BM25得分与IBM Model 1的对数似然得分，以建模超越简单共现的词项关联。
• 采用旋转技术加速近似k-NN搜索，避免依赖LSH或度量空间假设。
• 采用一种近似k-NN算法，在仅损失少量准确率的情况下，将搜索时间减少近两个数量级，接近暴力搜索的精度。
• 利用文本向量的低固有维度性（估计为~2500，基于Wikipedia TF×IDF与夹角距离），实现高效搜索。
• 采用基于翻译表$T(q|a)$的查询扩展策略，其中$q$为查询词项，$a$为潜在同义词，其概率由IBM Model 1推导得出。
• 将k-NN流水线集成到检索系统中，用基于向量的k-NN检索层替代Lucene的倒排索引。

实验结果

研究问题

• RQ1 使用非度量、非对称相似度函数（如BM25+Model 1）的k-NN搜索，能否在效果与效率上超越传统基于词项的检索？
• RQ2 为显著减少词汇鸿沟，需要多少词项关联（如同义词）？这在k-NN框架中是否可行？
• RQ3 近似k-NN搜索能否在远快于复杂相似度函数精确搜索的同时，达到接近暴力搜索的精度？
• RQ4 基于k-NN的检索是否比Lucene的基于词项的流水线更有效，特别是在处理词汇不匹配方面？
• RQ5 基于旋转的近似k-NN搜索能否高效应用于不适用于标准LSH技术的非度量相似度函数？

主要发现

• 使用结合BM25与IBM Model 1的相似度函数，当每个查询词项平均关联15,000项时，k-NN流水线在P@1上的平均精度相比BM25提升了21.6%。
• 近似k-NN搜索相比精确暴力搜索实现了近两个数量级的速度提升，仅损失少量准确率。
• k-NN流水线比Lucene快1.5倍，同时效果更高，证明k-NN可超越传统倒排索引系统。
• 每个查询词项至少需要15,000个翻译表条目才能实现相比BM25的21.6%提升，凸显弥合词汇鸿沟所需词项别名的规模。
• 该方法在长查询上依然有效，但其在典型网络搜索中短查询上的表现尚不明确。
• 该方法通过使用旋转技术而非LSH，成功处理了非对称、非度量相似度——这在以往k-NN信息检索研究中极为罕见。