[論文レビュー] Do You Trust ChatGPT? -- Perceived Credibility of Human and AI-Generated Content

Martin Huschens, Martin Briesch+2 more|arXiv (Cornell University)|Sep 5, 2023

Artificial Intelligence in Healthcare and Education被引用数 18

ひとこと要約

本研究は、3つのUI条件に跨る人間生成とAI生成コンテンツの知覚的信頼性を比較し、両起源の信頼性は類似していると結論づける。AIコンテンツはより明確で、より魅力的と評価される。

ABSTRACT

This paper examines how individuals perceive the credibility of content originating from human authors versus content generated by large language models, like the GPT language model family that powers ChatGPT, in different user interface versions. Surprisingly, our results demonstrate that regardless of the user interface presentation, participants tend to attribute similar levels of credibility. While participants also do not report any different perceptions of competence and trustworthiness between human and AI-generated content, they rate AI-generated content as being clearer and more engaging. The findings from this study serve as a call for a more discerning approach to evaluating information sources, encouraging users to exercise caution and critical thinking when engaging with content generated by AI systems.

研究の動機と目的

• UIデザイン（ChatGPT、生テキスト、Wikipedia風）がテキスト抜粋の信頼性判断にどのように影響するかを評価する。
• 人間生成コンテンツとLLM生成コンテンツの知覚信頼性を比較する。
• 出典とUIの組み合わせで、これらの信頼性要素がどう変化するかを検討する。
• 有効な比較を保証するために、参加者の人口統計や関連共変量を統制する。

提案手法

• Prolificを通じて募集した606人の英語話者を対象としたオンライン調査。
• 各参加者は、4つのトピック（Academy Awards、Canada、Malware、US Senate）を、2つの出所（人間生成、LLM生成）と3つのUI条件で提示して評価した。
• 信頼性は、5点リッカート尺度の11項目を4つの要因（有能さ、信頼性、明確さ、エンゲージメント）に渡って測定した。
• 信頼性と妥当性の検査を含む4因子測定モデルを検証する確認的因子分析（CFA）を実施。
• UI条件とコンテンツ起源を比較するために、ノンパラメトリック検定（Kruskal-Wallis、Wilcoxon）と記述的ビジュアルを用いた。

実験結果

リサーチクエスチョン

• RQ1 UI条件（ChatGPT、Raw Text、Wikipedia UI）は、テキスト抜粋の知覚信頼性に影響を与えるか。
• RQ2 UI条件間で、人間生成とLLM生成コンテンツの知覚信頼性に差はあるか。
• RQ3 信頼性のどの次元（有能さ、信頼性、明確さ、エンゲージメント）が、コンテンツ起源またはUI条件によって影響を受けるか。

主な発見

• UI条件は、さまざまな次元における知覚信頼性や読解パフォーマンスに実質的な影響を及ぼさなかった。
• 参加者は、人間生成とLLM生成コンテンツの有能さや信頼性に差を示さなかった。
• LLM生成テキストは、人間生成テキストより明確でよりエンゲージングと見なされ、読了時間も短いと評価された。
• UIグループ内では、明確さとエンゲージメントはLLM生成コンテンツに有利であり、効果量は小〜中程度（明確さ: p<0.01, r=0.261; エンゲージメント: p<0.01, r=0.134）だった。
• 読了時間はLLM生成コンテンツで有意に短かった（p<0.01, r=0.114）。
• 本研究は、誤情報リスクを低減するためのAI生成情報の批判的評価と潜在的なラベリングの必要性を強調している。