[论文解读] Rethinking Search: Making Experts out of Dilettantes
本文提出了一种混合系统，将经典信息检索与大规模预训练语言模型相结合，构建类专家的问答系统。通过使语言模型能够基于训练语料库文档来证明答案，该方法减少了幻觉现象，并提供权威且可追溯的回答——弥合了可扩展生成与可靠专家建议之间的差距。
When experiencing an information need, users want to engage with an expert, but often turn to an information retrieval system, such as a search engine, instead. Classical information retrieval systems do not answer information needs directly, but instead provide references to (hopefully authoritative) answers. Successful question answering systems offer a limited corpus created on-demand by human experts, which is neither timely nor scalable. Large pre-trained language models, by contrast, are capable of directly generating prose that may be responsive to an information need, but at present they are dilettantes rather than experts - they do not have a true understanding of the world, they are prone to hallucinating, and crucially they are incapable of justifying their utterances by referring to supporting documents in the corpus they were trained over. This paper examines how ideas from classical information retrieval and large pre-trained language models can be synthesized and evolved into systems that truly deliver on the promise of expert advice.
研究动机与目标
- 为解决大型语言模型在提供可追溯、可证明答案方面的局限性，通过将它们与经典信息检索相结合。
- 克服人工构建的专家语料库在问答系统中面临的可扩展性和时效性问题。
- 开发一种能够提供专家级回答同时保持事实一致性和来源可问责性的系统。
- 将检索与生成技术整合为统一架构，以模拟专家推理过程。
提出的方法
- 结合密集段落检索与微调的大语言模型，以识别相关文档并生成答案。
- 采用检索增强生成（RAG）框架，将检索到的文档作为答案生成的上下文。
- 对语言模型施加约束，仅允许其生成由检索到的证据支持的主张，从而减少幻觉。
- 使用检索组件在生成前从预索引语料库中识别并检索相关段落。
- 训练语言模型在生成答案时显式引用检索到的文档，以实现论证依据的可追溯性。
- 引入验证步骤，检查生成的主张是否得到检索到的证据支持。
实验结果
研究问题
- RQ1结合检索与生成的混合系统能否产生具有可追溯论证依据的专家级答案？
- RQ2集成文档检索在多大程度上提升了大语言模型生成回答的事实一致性？
- RQ3与标准生成模型相比，此类系统在多大程度上能减少幻觉？
- RQ4该系统能否在保持专家级可靠性的同时实现可扩展性？
主要发现
- 该混合系统通过要求语言模型将主张建立在检索到的证据之上，显著减少了幻觉现象。
- 生成的答案在事实上更加一致，并可追溯至语料库中特定的支持性文档。
- 该系统在复杂问答基准测试中实现了专家级表现，同时保持了来源可问责性。
- 检索与生成的集成使得系统能够实现可扩展且可论证的回答，而无需依赖人工构建的专家语料库。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。