[論文レビュー] Do explanations increase the effectiveness of AI-crowd generated fake news warnings?

Ziv Epstein, N. Foppiani+4 more|arXiv (Cornell University)|Dec 7, 2021

Misinformation and Its Impacts被引用数 7

ひとこと要約

本研究は、AIと人間が共同で作成するフェイクニュース警告ラベルの効果を高めるために説明を追加する効果を調査する。1,473人のアメリカ市民を対象としたアンケート調査の結果、ラベルありおよび説明ありの警告の両方が、偽のニュースの共有意思決定におけるユーザーの識別能力を向上させるが、説明が自己報告の信頼度を有意に向上させないことが判明した。これは、透明性が情報の質を高める一方で、必ずしも信頼を高めるとは限らない可能性を示唆している。

ABSTRACT

Social media platforms are increasingly deploying complex interventions to help users detect false news. Labeling false news using techniques that combine crowd-sourcing with artificial intelligence (AI) offers a promising way to inform users about potentially low-quality information without censoring content, but also can be hard for users to understand. In this study, we examine how users respond in their sharing intentions to information they are provided about a hypothetical human-AI hybrid system. We ask i) if these warnings increase discernment in social media sharing intentions and ii) if explaining how the labeling system works can boost the effectiveness of the warnings. To do so, we conduct a study ($N=1473$ Americans) in which participants indicated their likelihood of sharing content. Participants were randomly assigned to a control, a treatment where false content was labeled, or a treatment where the warning labels came with an explanation of how they were generated. We find clear evidence that both treatments increase sharing discernment, and directional evidence that explanations increase the warnings' effectiveness. Interestingly, we do not find that the explanations increase self-reported trust in the warning labels, although we do find some evidence that participants found the warnings with the explanations to be more informative. Together, these results have important implications for designing and deploying transparent misinformation warning labels, and AI-mediated systems more broadly.

研究の動機と目的

• AIと人間が共同で生成するフェイクニュース警告に説明を追加することで、ユーザーが真偽のコンテンツを区別する能力が向上するかを評価すること。
• 説明が警告ラベルに対するユーザーの信頼度を高めるのか、それとも単に情報の質が向上するだけなのかを評価すること。
• 高関心・低信頼の環境下における、ハイブリッド型人間-AI誤情報ラベルシステムに対するユーザーの心理的反応のダイナミクスを明らかにすること。
• 専門家の事実確認に依存せずに、透明性がありスケーラブルな誤情報対策を展開する際のデザイン上の課題を解決すること。

提案手法

• 米国市民1,473名を対象に、偽のニュースと真のニュースの見出しについての共有意思決定を評価するための無作為化オンラインアンケートを実施。
• 参加者を3つの条件のいずれかに割り当てた：コントロール群（ラベルなし）、ラベル群（AIと人間による警告のみ）、説明群（ハイブリッド型人間-AIラベル作成プロセスの説明付き警告）。
• ラベルの正確性が100%保証された架空のシステムを用いて、説明の効果をラベルの正確性とは独立して分離して評価。
• 自己報告の信頼度と情報の質の認識度を収集し、説明の心理的影響を測定。
• 真のコンテンツと偽のコンテンツにおける共有意思決定の差を分析することで、識別能力の向上を測定。
• 政治的立場や類似ラベルの過去経験を制御することで、説明の効果を孤立して特定。

実験結果

リサーチクエスチョン

• RQ1 AIと人間が共同で生成するハイブリッドシステムによるフェイクニュースのラベリングは、ユーザーの共有意思決定における識別能力を向上させるか？
• RQ2 ラベルシステムの仕組みについての説明を追加することで、警告ラベルの効果がさらに向上するか？
• RQ3 説明はユーザーの自己報告の信頼度を高めるか？
• RQ4 信頼度が向上しなくても、説明は情報の質が高いと認識されるのか？
• RQ5 ユーザーがラベルの出所（AI、人間、ハイブリッド）をどのように認識するかが、警告の効果にどのように影響するか？

主な発見

• ラベルありおよび説明ありの警告の両方が、偽のニュースを共有する可能性を有意に低下させ、ユーザーの識別能力が向上した。
• 参加者たちは、説明付きのラベルが説明なしのラベルよりも情報量が多いと感じたが、その結果、自己報告の信頼度が上昇したわけではない。
• 説明が警告の効果を高める傾向があるという方向的証拠が得られたが、従来の統計的有意水準には達しなかった。
• 情報の質の認識は高まったが、信頼度は上昇しなかったことから、AIが介在する警告において、認知的理解と感情的信頼の間には乖離が生じる可能性がある。
• 結果から、説明はシステムの信頼性に対するユーザーの自信を必ずしも高めないが、理解を深める役割を果たす可能性がある。
• ハイブリッド型人間-AIシステムが誤情報検出をスケーラブルに実現する可能性を示唆するが、透明性を備えた効果的な介入を設計することは、依然として複雑な課題である。