[论文解读] Do You Trust ChatGPT? -- Perceived Credibility of Human and AI-Generated Content

Martin Huschens, Martin Briesch+2 more|arXiv (Cornell University)|Sep 5, 2023

Artificial Intelligence in Healthcare and Education被引用 18

一句话总结

本研究比较三种 UI 条件下人类生成与 AI 生成内容的感知可信度，结果是两种来源的可信度相似，但 AI 内容被评为更清晰且更具吸引力。

ABSTRACT

This paper examines how individuals perceive the credibility of content originating from human authors versus content generated by large language models, like the GPT language model family that powers ChatGPT, in different user interface versions. Surprisingly, our results demonstrate that regardless of the user interface presentation, participants tend to attribute similar levels of credibility. While participants also do not report any different perceptions of competence and trustworthiness between human and AI-generated content, they rate AI-generated content as being clearer and more engaging. The findings from this study serve as a call for a more discerning approach to evaluating information sources, encouraging users to exercise caution and critical thinking when engaging with content generated by AI systems.

研究动机与目标

• 评估 UI 设计（ChatGPT、原文文本、维基百科风格）如何影响对文本摘录的可信度判断。
• 比较人类生成内容与 LLM 生成内容的感知可信度。
• 检验对胜任度、可信度、清晰度和参与度的感知是否因来源和 UI 而异。
• 控制参与者人口统计信息及相关共变项以确保可比性。

提出的方法

• 通过 Prolific 招募的 606 名英语使用者参与的在线调查。
• 每位参与者评估四个主题（学院奖、加拿大、恶意软件、美国参议院），以两种来源（人类生成、LLM 生成）和三种 UI 条件呈现。
• 可信度以 5 点李克特量表在四个维度（胜任度、可信度、清晰度、参与度）上的 11 项衡量。
• 确认性因素分析（CFA）验证了具有可靠性与效度检验的四因素测量模型。
• 使用非参数检验（Kruskal-Wallis、Wilcoxon）和描述性可视化比较 UI 条件与内容来源。

实验结果

研究问题

• RQ1 UI 条件（ChatGPT、Raw Text、Wikipedia UI）是否影响文本摘录的感知可信度？
• RQ2 在不同 UI 条件下，人类生成与 LLM 生成内容的感知可信度是否存在差异？
• RQ3 哪些可信度维度（胜任度、可信度、清晰度、参与度）会受到内容来源或 UI 条件的影响？

主要发现

• 在各维度上，UI 条件对可信度感知或阅读表现没有实质性影响。
• 参与者在胜任度和可信度方面未在人体生成与 LLM 生成内容之间显示差异。
• LLM 生成的文本被感知为更清晰、参与度更高，且阅读时间更短。
• 在同一 UI 组中，清晰度和参与度更有利于 LLM 生成的内容，效应量从小到中等（清晰度：p<0.01，r=0.261；参与度：p<0.01，r=0.134）
• LLM 生成的内容的阅读时间显著更短（p<0.01，r=0.114）。
• 本研究强调需要对 AI 生成信息进行批判性评估并可能对其进行标注，以降低错误信息风险。