[論文レビュー] Search Engines Post-ChatGPT: How Generative Artificial Intelligence Could Make Search Less Reliable

Shahan Ali Memon, Jevin D. West|arXiv (Cornell University)|Feb 18, 2024

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

このコメントは、生成系AIを検索エンジンに統合することが、認知される信頼性にもかかわらず、幻覚、出典の低下、そして偏りがあり信頼性の低い結果をもたらす可能性がある、という点について論じている。

ABSTRACT

In this commentary, we discuss the evolving nature of search engines, as they begin to generate, index, and distribute content created by generative artificial intelligence (GenAI). Our discussion highlights challenges in the early stages of GenAI integration, particularly around factual inconsistencies and biases. We discuss how output from GenAI carries an unwarranted sense of credibility, while decreasing transparency and sourcing ability. Furthermore, search engines are already answering queries with error-laden, generated content, further blurring the provenance of information and impacting the integrity of the information ecosystem. We argue how all these factors could reduce the reliability of search engines. Finally, we summarize some of the active research directions and open questions.

研究の動機と目的

• 検索へのGenAI統合の研究を喚起し、それが情報の信頼性に与える潜在的な影響を示す。
• LLM駆動の検索出力によって生じる事実の不整合、幻覚、および偏りを強調する。
• 生成系検索システムにおける出典情報、信頼性、および検証の問題を論じる。
• GenAIベースの検索ツールを評価するための未解決の問いと可能な研究方向を特定する。

提案手法

• GenAI搭載の検索が一貫性があるが文脈上誤っている、または誤って出典が付された情報を返す例を説明する。
• Retrieval Augmented Generation (RAG) フレームワークと、幻覚を減らす際の限界を説明する。
• GenAIシステムが不確実性をどのように扱い、もっともらしく聞こえるが虚偽の結果を提供する傾向を調査する。
• 生成コンテンツの出典情報、インデクシング、および検索結果における偏りの増幅の可能性について論じる。
• LLMsと生成検索における検証可能性、偏り、安全性に関する既存の研究を参照する。
• 潜在的な緩和戦略と将来の研究方向を概説する。

Figure 1: Searching controversial topics, such as abortion. (a) shows the search engine response to the query “problems with abortion” correctly citing the source. (b) shows the response to the query “problems with abo rt” mis-citing the source. Search results are from November 22, 2023.

実験結果

リサーチクエスチョン

• RQ1 ガードレールなしにLLMsを検索エンジンに組み込んだときに生じる信頼性の課題は何か？
• RQ2 従来の検索と比較して、GenAI搭載検索出力は出典情報と検証可能性をどのように扱うか？
• RQ3 トレーニングデータに存在する偏りを、検索結果内でGenAIシステムはどの程度増幅させるか？
• RQ4 幻覚の緩和と出典の説明責任を改善するために最も有望な研究方向は何か？
• RQ5 GenAIベースの検索体験に対してユーザー行動と信頼はどのように適応する可能性があるか？

主な発見

• GenAI搭載の検索は一貫性がありつつ文脈的には正しくない結果や誤引用を生み出す（hallu-citations）ことがある。
• Retrieval Augmented Generation (RAG) は内容を固定化するのに役立つが、幻覚を完全には防げない。
• GenAIの出力はしばしば明確な出典情報を欠き、誤っているまたは裏付けのない情報源を引用することがある。
• GenAIシステムは不確実性を示すことを躊躇し、確信に満ちたが誤った回答を増やす傾向がある。
• 生成的検索はトレーニングデータとモデル整合性の影響を受けて偏りを強化し、結果の多様性と公平性に影響を与える。

Figure 2: Searching for benefits of nicotine. Search results are from December 4, 2023