[论文解读] ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience

Ruiyun Xu, Yue Feng+1 more|arXiv (Cornell University)|Jul 3, 2023

Misinformation and Its Impacts被引用 11

一句话总结

本研究在随机在线实验中比较类似 ChatGPT 的工具与类似 Google 搜索的工具，以评估用户行为、感知信息质量和用户体验之间的差异。

ABSTRACT

The advent of ChatGPT, a large language model-powered chatbot, has prompted questions about its potential implications for traditional search engines. In this study, we investigate the differences in user behavior when employing search engines and chatbot tools for information-seeking tasks. We carry out a randomized online experiment, dividing participants into two groups: one using a ChatGPT-like tool and the other using a Google Search-like tool. Our findings reveal that the ChatGPT group consistently spends less time on all tasks, with no significant difference in overall task performance between the groups. Notably, ChatGPT levels user search performance across different education levels and excels in answering straightforward questions and providing general solutions but falls short in fact-checking tasks. Users perceive ChatGPT's responses as having higher information quality compared to Google Search, despite displaying a similar level of trust in both tools. Furthermore, participants using ChatGPT report significantly better user experiences in terms of usefulness, enjoyment, and satisfaction, while perceived ease of use remains comparable between the two tools. However, ChatGPT may also lead to overreliance and generate or replicate misinformation, yielding inconsistent results. Our study offers valuable insights for search engine management and highlights opportunities for integrating chatbot technologies into search engine designs.

研究动机与目标

• 研究在信息检索任务中，使用类似 ChatGPT 的工具与类似 Google 搜索的工具时，用户行为有何不同。
• 评估两种工具在不同教育水平下的任务表现。
• 评估两种工具在信息质量感知、信任、有用性、乐趣和满意度方面的差异。
• 识别 ChatGPT 可能的潜在缺点，如过度依赖和错误信息。
• 为搜索引擎设计及聊天机器人技术的整合提供见解。

提出的方法

• 两组的随机在线实验：类似 ChatGPT 的工具 vs. 类似 Google 搜索的工具。
• 参与者执行信息检索任务，教育水平可能不同。
• 测量任务花费的时间、总体任务表现和用户体验指标。
• 通过参与者感知评估信息质量与信任。
• 分析潜在的过度依赖和错误信息风险。
• 总结对搜索引擎管理与聊天机器人整合的影响。

实验结果

研究问题

• RQ1 使用类似 ChatGPT 的工具在信息检索任务中是否会影响任务时间，相较于类似 Google 搜索的工具？
• RQ2 两种工具在不同教育水平下的总体任务表现是否存在差异？
• RQ3 使用类似 ChatGPT 的工具与类似 Google 搜索的工具时，用户如何感知信息质量与信任？
• RQ4 有用性、乐趣、满意度和易用性方面，两种工具有哪些差异？
• RQ5 与 ChatGPT 类工具相关的风险有哪些，如过度依赖或错误信息？

主要发现

• 使用 ChatGPT 的用户在所有任务上花费的时间少于 Google Search 用户。
• 两组在总体任务表现方面没有显著差异。
• ChatGPT 提供更高的感知信息质量，但信任水平与 Google Search 相似。
• ChatGPT 用户报告更高的有用性、乐趣和满意度，而易用性在两工具间相似。
• ChatGPT 可能导致过度依赖并生成或复制错误信息，导致结果不一致。