[論文レビュー] Can ChatGPT-like Generative Models Guarantee Factual Accuracy? On the Mistakes of New Generation Search Engines

Ruochen Zhao, Xingxuan Li+3 more|arXiv (Cornell University)|Mar 3, 2023

Artificial Intelligence in Healthcare and Education被引用数 15

ひとこと要約

本論文はAI搭載検索エンジン（BingとBard）の事実誤りを分析し、現在の制約を踏まえ、ChatGPT型モデルは事実の正確性を保証できないと主張している。透明性と根拠の強化の改善を訴える。

ABSTRACT

Although large conversational AI models such as OpenAI's ChatGPT have demonstrated great potential, we question whether such models can guarantee factual accuracy. Recently, technology companies such as Microsoft and Google have announced new services which aim to combine search engines with conversational AI. However, we have found numerous mistakes in the public demonstrations that suggest we should not easily trust the factual claims of the AI models. Rather than criticizing specific models or companies, we hope to call on researchers and developers to improve AI models' transparency and factual correctness.

研究の動機と目的

• BingとBardによるAI搭載検索デモにおける事実的根拠の欠如を強調する。
• 事実誤りのタイプを例示する（出典と矛盾するもの、実在しない詳細、出典不明の主張）。
• 対話モデルにおける透明性、出典の正統性、事実正確性を向上させる短期・長期の戦略を論じる。

提案手法

• Microsoft BingとGoogle Bardの公開デモの事例を系統的に検証。
• 事実誤りを3つの主要なタイプに分類する：出典と矛盾するもの、出典に存在しないもの、出典不一致/出典不明の主張。
• BingとBardのデモを比較し、透明性と根拠付けを評価。
• モデルの透明性、信頼度報告、出典ベースの検証を含む潜在的な解決策を論じる。

実験結果

リサーチクエスチョン

• RQ1 BingとBardのデモでどのような事実誤りが示されるか？
• RQ2 これらの誤りはChatGPT型モデルの根本的な根拠付けの問題をどの程度反映しているか？
• RQ3 透明性と出典引用がAI支援検索結果の信頼性にどのように影響するか？
• RQ4 対話型検索エンジンの事実正確性を改善する短期・長期のアプローチは何か？

主な発見

• 新しいBingのデモは、元の報告書に裏付けられていない架空の財務データと誤った比較表を生み出した。
• Bingは出典と一致しない誤った個人情報や時限情報（例：ナイトクラブの営業時間）も提供した。
• Bardのデモには、望遠鏡の発見帰属の誤りや星座の可視タイミングなどの誤りが含まれ、株価への影響を招いた。
• 両方のシステムは事実根拠付けに限界があり、出典が不足していたり信頼できない情報源に依存する出力があった。
• 著者はBingの参照がBardより透明性が高く、ユーザーが事実検証を容易にできたと指摘している。
• 本論文は現在のChatGPT型モデルは事実の正確性を保証できないと主張し、透明性と検証可能な根拠付けの必要性を強調している。