[论文解读] Information Retrieval Meets Large Language Models: A Strategic Report from Chinese IR Community

Qingyao Ai, Ting Bai+31 more|arXiv (Cornell University)|Jul 19, 2023

Topic Modeling被引用 4

一句话总结

本篇战略报告来自中国信息检索（IR）社区，提出了一种新颖的三方范式，整合人类、信息检索（IR）模型与大型语言模型（LLMs），以提升信息获取能力。通过利用IR实现实时、事实性检索，同时借助LLMs进行推理与生成，该框架使系统更具准确性、可靠性与交互性，尽管在可信度、效率与数据质量方面仍存在未解决的挑战。

ABSTRACT

The research field of Information Retrieval (IR) has evolved significantly, expanding beyond traditional search to meet diverse user information needs. Recently, Large Language Models (LLMs) have demonstrated exceptional capabilities in text understanding, generation, and knowledge inference, opening up exciting avenues for IR research. LLMs not only facilitate generative retrieval but also offer improved solutions for user understanding, model evaluation, and user-system interactions. More importantly, the synergistic relationship among IR models, LLMs, and humans forms a new technical paradigm that is more powerful for information seeking. IR models provide real-time and relevant information, LLMs contribute internal knowledge, and humans play a central role of demanders and evaluators to the reliability of information services. Nevertheless, significant challenges exist, including computational costs, credibility concerns, domain-specific limitations, and ethical considerations. To thoroughly discuss the transformative impact of LLMs on IR research, the Chinese IR community conducted a strategic workshop in April 2023, yielding valuable insights. This paper provides a summary of the workshop's outcomes, including the rethinking of IR's core values, the mutual enhancement of LLMs and IR, the proposal of a novel IR technical paradigm, and open challenges.

研究动机与目标

• 在大型语言模型（LLMs）的变革潜力背景下，重新评估信息检索（IR）的核心价值。
• 探索IR模型与LLMs在提升用户理解、内容生成与系统可靠性方面的相互增强机制。
• 提出一种新技术范式，使IR模型、LLMs与人类协同合作，以满足复杂的信息需求。
• 识别并分析在IR系统中部署LLMs的关键挑战，包括可信度、计算成本与伦理问题。
• 通过阐明开放性问题与战略方向，为LLM增强型IR的未来研究与开发提供指导。

提出的方法

• 提出一种新的三方IR范式：IR模型负责实时、事实性检索，LLMs提供内部知识与推理能力，人类则作为评估者与需求提出者。
• 将IR系统作为外部知识库，以纠正LLMs的事实性幻觉与长上下文限制问题。
• 采用检索增强生成（RAG）原则，使LLM输出基于IR系统提供的最新、相关文档而生成。
• 倡导混合系统设计，平衡LLMs生成内容与检索到的、新鲜且可信的数据，以提升系统可靠性。
• 推荐采用先进的数据标注流水线与质量评估机制，以确保LLMs训练数据的高质量。
• 建议设计新型展示格式，结合排序列表与LLM生成的摘要，以更好地满足用户需求。

实验结果

研究问题

• RQ1 如何结构化IR模型、LLMs与人类之间的协同关系，以构建更强大且可靠的的信息检索系统？
• RQ2 在将LLMs集成到IR系统中时，关键挑战是什么，特别是可信度、延迟与数据质量方面？
• RQ3 如何有效结合LLMs与检索系统，以在新鲜度、准确性与生成能力之间实现平衡？
• RQ4 需要哪些新的评估方法，以衡量LLM增强型IR系统的可靠性与可解释性？
• RQ5 如何有效将结构化信息（如用户-项目交互、网页链接）整合到基于LLM的IR模型中？

主要发现

• IR模型与LLMs的融合形成双轮驱动系统：IR确保事实一致性与信息时效性，LLMs则提供推理与生成能力。
• 仅依赖LLMs存在幻觉、长上下文记忆有限与可信度低的问题，因此检索系统对于事实 grounding 至关重要。
• 高昂的计算成本与服务延迟仍是LLMs在在线IR系统中实现实时部署的主要障碍。
• 现有的质量评估方法（如PageRank）不足以检测AI生成的虚假信息，亟需新的检测与过滤机制。
• LLM生成内容的泛滥加剧了竞争，迫使内容创作者提升质量与创新能力以保持相关性。
• 目前尚无标准化格式用于在检索结果中呈现LLM生成内容，这在界面设计中构成了关键开放挑战。