[論文レビュー] ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience

Ruiyun Xu, Yue Feng+1 more|arXiv (Cornell University)|Jul 3, 2023

Misinformation and Its Impacts被引用数 11

ひとこと要約

本研究は、ランダム化オンライン実験において ChatGPT に似たツールと Google Search に似たツールを比較し、ユーザー行動、知覚情報品質、およびユーザー体験の差を評価する。

ABSTRACT

The advent of ChatGPT, a large language model-powered chatbot, has prompted questions about its potential implications for traditional search engines. In this study, we investigate the differences in user behavior when employing search engines and chatbot tools for information-seeking tasks. We carry out a randomized online experiment, dividing participants into two groups: one using a ChatGPT-like tool and the other using a Google Search-like tool. Our findings reveal that the ChatGPT group consistently spends less time on all tasks, with no significant difference in overall task performance between the groups. Notably, ChatGPT levels user search performance across different education levels and excels in answering straightforward questions and providing general solutions but falls short in fact-checking tasks. Users perceive ChatGPT's responses as having higher information quality compared to Google Search, despite displaying a similar level of trust in both tools. Furthermore, participants using ChatGPT report significantly better user experiences in terms of usefulness, enjoyment, and satisfaction, while perceived ease of use remains comparable between the two tools. However, ChatGPT may also lead to overreliance and generate or replicate misinformation, yielding inconsistent results. Our study offers valuable insights for search engine management and highlights opportunities for integrating chatbot technologies into search engine designs.

研究の動機と目的

• 情報探索タスクにおいて、ChatGPT に似たツールを使用する場合と Google Search に似たツールを使用する場合で、ユーザー行動がどのように異なるかを調査する。
• 両ツールについて、教育レベルに応じたタスクパフォーマンスを評価する。
• ツール間で知覚情報品質、信頼、有用性、楽しさ、満足度を評価する。
• ChatGPT の潜在的な欠点の特定、過度依存や誤情報など。
• 検索エンジン設計とチャットボット技術の統合に向けた洞察を提供する。

提案手法

• ChatGPT に似たツールと Google Search に似たツールの2群によるランダム化オンライン実験。
• 参加者は情報探索タスクを実施し、教育レベルは異なる場合がある。
• タスクに費やした時間、全体のタスクパフォーマンス、およびユーザー体験指標を測定する。
• 参加者の認識を通じて情報品質と信頼を評価する。
• 過度依存および誤情報リスクを分析する。
• 検索エンジン運用とチャットボット統合の含意を要約する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT に似たツールを使用することは、情報探索タスクにおけるタスク時間に影響を与えるか、Google Search に似たツールと比較して？
• RQ2 教育レベルを横断して、二つのツール間で全体的なタスクパフォーマンスに差があるか？
• RQ3 ChatGPT に似たツールと Google Search に似たツールを使用した場合、ユーザーは情報品質と信頼をどのように認識するか？
• RQ4 2つのツール間で有用性、楽しさ、満足度、および使いやすさの違いは何か？
• RQ5 ChatGPT に似たツールに関連する過度依存や誤情報などのリスクは何か？

主な発見

• ChatGPT ユーザーはすべてのタスクで Google Search ユーザーより少ない時間を費やす。
• 両グループ間で全体のタスクパフォーマンスに有意差はない。
• ChatGPT は知覚情報品質が高いと感じられるが、信頼レベルは Google Search と同程度。
• ChatGPT ユーザーは有用性、楽しさ、満足度が高いと報告する一方、使いやすさはツール間で同程度。
• ChatGPT は過度依存を招く可能性があり、誤情報を生成または再現し、結果が一貫性を欠く原因となる。