[论文解读] A Proposed Conceptual Framework for a Representational Approach to Information Retrieval

Jimmy Lin|arXiv (Cornell University)|Oct 4, 2021

Information Retrieval and Search Behavior被引用 8

一句话总结

本文提出一个统一的概念框架，将密集检索与稀疏检索重新诠释为同一基础表征方法的不同参数化形式，将逻辑打分（嵌入空间中的查询-文档相似度）与物理检索（大规模高效top-k检索）分离。该框架揭示了近年来神经网络与传统信息检索方法在功能形式上的共通性，从而实现系统性分析，并为信息检索领域的未来研究提供路线图。

ABSTRACT

This paper outlines a conceptual framework for understanding recent developments in information retrieval and natural language processing that attempts to integrate dense and sparse retrieval methods. I propose a representational approach that breaks the core text retrieval problem into a logical scoring model and a physical retrieval model. The scoring model is defined in terms of encoders, which map queries and documents into a representational space, and a comparison function that computes query-document scores. The physical retrieval model defines how a system produces the top-$k$ scoring documents from an arbitrarily large corpus with respect to a query. The scoring model can be further analyzed along two dimensions: dense vs. sparse representations and supervised (learned) vs. unsupervised approaches. I show that many recently proposed retrieval methods, including multi-stage ranking designs, can be seen as different parameterizations in this framework, and that a unified view suggests a number of open research questions, providing a roadmap for future work. As a bonus, this conceptual framework establishes connections to sentence similarity tasks in natural language processing and information access "technologies" prior to the dawn of computing.

研究动机与目标

• 在单一概念框架下统一近期密集与稀疏检索的进展。
• 通过将逻辑打分与物理检索分离，阐明密集与稀疏检索的功能等价性。
• 为分析多阶段排序、交互式检索与相关性反馈提供结构化抽象。
• 建立现代信息检索与历史信息访问方法（包括预计算技术）之间的联系。
• 识别开放的研究问题，并指导信息检索中表征学习的未来工作。

提出的方法

• 该框架将文本检索分解为逻辑打分模型（查询与文档编码器 + 比较函数）和物理检索模型（从大规模语料中高效检索top-k）。
• 从两个维度分析打分模型：密集与稀疏表征，以及监督与无监督学习。
• 通过编码器（如BERT、基于Transformer的模型）生成查询与文档表征，将输入映射为固定维向量。
• 通过查询与文档嵌入之间的内积计算相似度得分，优化目标为使相关样本对获得高分。
• 通过近似最近邻（ANN）搜索（如HNSW）实现密集检索的解耦，通过倒排索引实现稀疏检索的解耦。
• 该框架通过将会话历史与相关性反馈整合到查询编码器中，可扩展至交互式与迭代式检索。

实验结果

研究问题

• RQ1 尽管架构与基础设施不同，密集与稀疏检索如何能在单一概念框架下统一？
• RQ2 现代神经网络信息检索与经典词袋模型（如BM25）之间共享的功能组件是什么？
• RQ3 多阶段排序流水线如何可被理解为该表征框架的参数化实例？
• RQ4 相关性反馈与对话式检索在何种方式下可被正式整合进该框架？
• RQ5 该框架揭示了哪些历史与跨领域联系（例如句子相似度、预计算信息访问）？

主要发现

• 当通过共享表征打分模型的视角观察时，密集与稀疏检索在功能上等价，仅在表征类型与学习范式上存在差异。
• 多阶段排序系统可被解释为该框架的特定参数化实例，其中第一阶段检索作为候选生成。
• 该框架实现了打分（逻辑）与检索（物理）组件的清晰分离，降低了实现约束。
• 通过扩展查询编码器以包含历史上下文与反馈，该框架自然支持交互式与会话式检索。
• 该框架通过将卡片目录与索引卡片等早期系统视为表征检索的雏形，建立了现代神经网络信息检索与预计算信息访问系统（如卡片目录）之间的概念连续性。
• 该框架通过识别表征学习、检索效率与跨任务泛化方面的开放问题，为未来研究提供了路线图。