[论文解读] Search Engines Post-ChatGPT: How Generative Artificial Intelligence Could Make Search Less Reliable
本评论讨论将生成式人工智能整合到搜索引擎中如何导致幻觉、证据来源减少以及偏见、较不可靠的结果，尽管它们被认为具备可信度。
In this commentary, we discuss the evolving nature of search engines, as they begin to generate, index, and distribute content created by generative artificial intelligence (GenAI). Our discussion highlights challenges in the early stages of GenAI integration, particularly around factual inconsistencies and biases. We discuss how output from GenAI carries an unwarranted sense of credibility, while decreasing transparency and sourcing ability. Furthermore, search engines are already answering queries with error-laden, generated content, further blurring the provenance of information and impacting the integrity of the information ecosystem. We argue how all these factors could reduce the reliability of search engines. Finally, we summarize some of the active research directions and open questions.
研究动机与目标
- 推动研究将 GenAI 集成到搜索中及其对信息可靠性的潜在影响。
- 突出由大语言模型驱动的搜索输出所引入的事实不一致、幻觉和偏见。
- 讨论生成式搜索系统中的来源、信任与验证问题。
- 确立评估 GenAI 基于的搜索工具的开放问题与潜在研究方向。
提出的方法
- 描述 GenAI 驱动的搜索给出连贯但在语境上不正确或错误归因的信息的示例。
- 解释 Retrieval Augmented Generation（RAG）框架及其在降低幻觉方面的局限性。
- 概述 GenAI 系统如何处理不确定性以及倾向于给出听起来可信但其实错误的结果。
- 讨论生成内容的来源、索引以及在搜索结果中潜在放大偏见的问题。
- 参考现有关于可验证性、偏见与安全性的研究在大语言模型和生成式搜索中的应用。
- 概述潜在的缓解策略与未来的研究方向。
实验结果
研究问题
- RQ1当在搜索引擎中集成大语言模型且缺乏防护措施时，会出现哪些可靠性挑战？
- RQ2与传统搜索相比，GenAI 驱动的搜索输出如何处理来源与可验证性？
- RQ3GenAI 系统在多大程度上放大训练数据中存在的偏见在搜索结果中的体现？
- RQ4在哪些研究方向上最有前景，以改善生成式搜索中的幻觉缓解和来源追责？
- RQ5用户行为和信任如何适应基于 GenAI 的搜索体验？
主要发现
- GenAI 驱动的搜索可能产生连贯但在语境上不正确的结果和错误引用（hallu-citations）。
- 检索增强生成（RAG）有助于锚定内容，但不能完全防止幻觉。
- GenAI 输出往往缺乏清晰的来源，可能引用不正确或不支持的来源。
- GenAI 系统往往不愿意表明不确定性，从而给出更自信但错误的答案。
- 生成式搜索可能因训练数据和模型对齐而强化偏见，影响结果的多样性和公平性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。