[论文解读] Information Retrieval: Recent Advances and Beyond

Kailash Hambarde, Hugo Proença|arXiv (Cornell University)|Jan 20, 2023

Neural Networks and Applications参考文献 207被引用 8

一句话总结

一个覆盖检索阶段和排序阶段的信息检索模型综述，涵盖基于词项、语义和神经方法，以及学习技巧和最新进展。

ABSTRACT

In this paper, we provide a detailed overview of the models used for information retrieval in the first and second stages of the typical processing chain. We discuss the current state-of-the-art models, including methods based on terms, semantic retrieval, and neural. Additionally, we delve into the key topics related to the learning process of these models. This way, this survey offers a comprehensive understanding of the field and is of interest for for researchers and practitioners entering/working in the information retrieval domain.

研究动机与目标

• 提供在第一阶段检索和第二阶段排序中使用的IR模型的全面概述。
• 讨论IR领域的最先进词项基础、语义和神经方法。
• 解释IR模型的关键学习范式与训练技术。
• 突出近期趋势，如扩展、密集表示和知识整合。

提出的方法

• 对传统基于词项的模型（如 BM25、TF-IDF）以及概率/语言模型方法的文献进行综述与综合。
• 总结开创性与当代的语义与词汇依赖方法。
• 讨论用于语义检索的深度学习架构，包括 CNNs、RNNs、transformers 和预训练语言模型。
• 考察密集与稀疏表示学习、扩展技术及知识整合在IR中的应用。
• 概述在密集检索情境中的预训练、蒸馏和多向量表示。

实验结果

研究问题

• RQ1 IR第一阶段检索和第二阶段排序中使用的主要模型族有哪些？
• RQ2 最近神经和密集表示如何影响IR的效果与效率？
• RQ3 用于提升IR性能的学习与训练策略有哪些（如扩展、预训练、蒸馏）？
• RQ4 扩展和多语/密集方法如何贡献于现代IR系统？
• RQ5 信息检索研究中识别出的关键挑战与未来方向是什么？

主要发现

• 深度学习与预训练模型在语义和神经方法的IR性能上取得显著提升。
• 扩展技术（Doc2Query、查询扩展）和稀疏/密集表示提高检索效果。
• 密集检索方法采用负采样、端到端训练和表示解耦等技术来提升开放域问答与段落排序的性能。
• 预训练与知识整合（如知识图谱）对推进密集检索与跨模态IR具有关键作用。
• 关于效率导向方法的持续研究，如剪枝、哈希和多向量表示，以平衡速度与准确性。