[论文解读] Future of Information Retrieval Research in the Age of Generative AI

James Allan, Eunsol Choi+2 more|arXiv (Cornell University)|Dec 3, 2024

Big Data Technologies and ApplicationsDecision Sciences被引用 3

一句话总结

本文综合了2024年关于生成式人工智能时代信息检索（IR）的愿景研讨会成果，提出了一项将大语言模型（LLMs）整合到IR系统中的研究议程。该研究概述了推进生成式AI赋能的IR所面临的关键挑战、机遇与建议，强调可信度、评估方法以及跨学科合作的重要性。

ABSTRACT

In the fast-evolving field of information retrieval (IR), the integration of generative AI technologies such as large language models (LLMs) is transforming how users search for and interact with information. Recognizing this paradigm shift at the intersection of IR and generative AI (IR-GenAI), a visioning workshop supported by the Computing Community Consortium (CCC) was held in July 2024 to discuss the future of IR in the age of generative AI. This workshop convened 44 experts in information retrieval, natural language processing, human-computer interaction, and artificial intelligence from academia, industry, and government to explore how generative AI can enhance IR and vice versa, and to identify the major challenges and opportunities in this rapidly advancing field. This report contains a summary of discussions as potentially important research topics and contains a list of recommendations for academics, industry practitioners, institutions, evaluation campaigns, and funding agencies.

研究动机与目标

• 识别信息检索（IR）与生成式AI，特别是大语言模型（LLMs）交叉领域的变革性研究机遇。
• 应对生成式AI集成到IR系统中带来的挑战，包括可靠性、评估方法和用户信任问题。
• 通过基于证据的建议，指导学术界、产业界和政府机构推进IR研究。
• 建立共享的研究议程，促进IR、自然语言处理（NLP）、人机交互（HCI）和人工智能（AI）社群之间的协作。
• 为资助机构、评估活动和机构提供指导，明确在生成式AI时代未来IR研究的优先事项。

提出的方法

• 组织了一场由44位来自学术界、产业界和政府机构的专家参与的愿景研讨会，探讨IR与生成式AI的协同效应。
• 将讨论成果整合为一项结构化研究议程，聚焦于可信度、评估方法和系统设计等关键主题。
• 提出一种评估框架，用于评估LLM增强的IR系统，超越传统的精确率和召回率等指标。
• 强调在IR-GenAI系统中采用以人为本的设计和交互式评估的必要性。
• 识别未来IR系统的核心组件，包括检索增强生成（RAG）、事实性监控和检索增强。
• 建议开发针对生成式IR用例量身定制的标准化基准和评估活动。

实验结果

研究问题

• RQ1 如何在保持事实准确性和可靠性的前提下，利用生成式AI增强传统信息检索系统？
• RQ2 需要何种新型评估方法，以衡量LLM增强的IR系统的性能和可信度？
• RQ3 IR研究如何应对在检索场景中生成式AI输出的幻觉和偏见风险？
• RQ4 交互式和以用户为中心的设计在下一代生成式AIIR系统开发中应发挥何种作用？
• RQ5 学术界、产业界和政府机构如何有效协作，以推进大语言模型时代的IR研究？

主要发现

• 将生成式AI整合到IR中带来了变革性机遇，但也伴随着事实一致性与系统可信度方面的重大挑战。
• 传统IR评估指标不足以评估LLM增强的系统，亟需聚焦事实性、推理能力与用户满意度的新基准。
• 检索增强生成（RAG）和增强技术对于减少幻觉、提升生成式IR系统的可靠性至关重要。
• 亟需建立标准化的评估活动和共享数据集，以支持IR-GenAI领域的可复现研究。
• IR、NLP、HCI和AI等领域的跨学科协作对于应对系统设计与用户交互中的新兴挑战至关重要。
• 资助机构和机构应优先支持可信、可解释且具备交互能力的生成式AI驱动的IR系统长期研究。