[论文解读] Incorporating Query Term Independence Assumption for Efficient Retrieval and Ranking using Deep Neural Networks

Bhaskar Mitra, Corby Rosset+4 more|arXiv (Cornell University)|Jul 8, 2019

Topic Modeling参考文献 30被引用 21

一句话总结

本文提出将查询词独立性引入深度神经信息检索模型（BERT、Duet、CKNRM），以实现术语-文档相关性分数的离线预计算，从而大幅降低查询评估成本，同时保持较高的检索效果。令人惊讶的是，Duet 和 CKNRM 的性能未出现显著下降，BERT 仅出现轻微下降，使得这些模型能够实现全集合的高效检索，而不再局限于后期重排序阶段。

ABSTRACT

Classical information retrieval (IR) methods, such as query likelihood and BM25, score documents independently w.r.t. each query term, and then accumulate the scores. Assuming query term independence allows precomputing term-document scores using these models---which can be combined with specialized data structures, such as inverted index, for efficient retrieval. Deep neural IR models, in contrast, compare the whole query to the document and are, therefore, typically employed only for late stage re-ranking. We incorporate query term independence assumption into three state-of-the-art neural IR models: BERT, Duet, and CKNRM---and evaluate their performance on a passage ranking task. Surprisingly, we observe no significant loss in result quality for Duet and CKNRM---and a small degradation in the case of BERT. However, by operating on each query term independently, these otherwise computationally intensive models become amenable to offline precomputation---dramatically reducing the cost of query evaluations employing state-of-the-art neural ranking models. This strategy makes it practical to use deep models for retrieval from large collections---and not restrict their usage to late stage re-ranking.

研究动机与目标

• 通过利用查询词独立性，实现使用最先进深度神经信息检索模型的高效、可扩展的检索。
• 探究在查询词独立性假设下预计算术语-文档相关性分数是否会影响神经模型的检索效果。
• 使深度神经模型在大规模信息检索系统中可实际用于第一阶段检索，而不仅限于后期重排序。
• 评估在强查询词独立性条件下，效率提升与潜在效果下降之间的权衡。

提出的方法

• 通过独立计算每个查询词与每个文档的相关性得分，并线性组合，将查询词独立性引入 BERT、Duet 和 CKNRM。
• 在查询词独立性假设下，使用神经模型离线预计算所有术语-文档相关性分数。
• 利用倒排索引和影响排序机制，在查询评估阶段基于预计算分数高效检索候选段落。
• 使用标准指标（如 MRR 和 recall@1000）在 MS MARCO 段落排序基准上评估所得模型的性能。
• 将查询词独立性变体的性能与原始模型及 BM25 作为强基线进行比较。
• 开展小规模检索实验，评估预计算 Duet 模型作为第一阶段检索器的有效性。

实验结果

研究问题

• RQ1 能否在不显著损失检索效果的前提下，有效将查询词独立性整合到 BERT、Duet 和 CKNRM 等深度神经信息检索模型中？
• RQ2 在查询词独立性假设下预计算术语-文档相关性分数，在多大程度上能降低查询评估成本，同时保持排名质量？
• RQ3 具备查询词独立性的神经模型能否作为大规模信息检索系统中的第一阶段检索器，而不仅限于重排序？
• RQ4 查询词独立性神经模型在检索效果上与 BM25 及其原始对应模型相比如何？

主要发现

• 采用查询词独立性的 Duet 模型在 MS MARCO 开发集查询子集上达到 recall@1000 为 0.85，MRR@10 为 0.218，显著优于 BM25（0.80 和 0.169）。
• 与原始 Duet 模型相比，Duet 的查询词独立性变体未表现出统计上显著的性能下降。
• CKNRM 的查询词独立性变体与原始模型相比也未出现显著性能下降。
• BERT 的查询词独立性变体在 MRR 上出现轻微但可测量的下降，尽管其在公开排行榜上仍优于非 BERT 模型。
• 具有查询词独立性的预计算 Duet 模型所检索的候选集质量优于 BM25，表明其在第一阶段检索方面具有改进潜力。
• 结果表明，至少对于 Duet 和 CKNRM，预计算带来的效率提升几乎不损失效果，使得使用深度模型进行全集合检索成为可能。