[論文レビュー] Labeling Messages as AI-Generated Does Not Reduce Their Persuasive Effects

Isabel O. Gallegos, Chen Shani+5 more|ArXiv.org|Apr 14, 2025

Psychology of Moral and Emotional Judgment被引用数 3

ひとこと要約

研究は、AI生成メッセージをAI・人間・ラベルなしと表示するかどうかが、4つの政策分野における説得力に有意な影響を与えないことを示している。

ABSTRACT

As generative artificial intelligence (AI) enables the creation and dissemination of information at massive scale and speed, it is increasingly important to understand how people perceive AI-generated content. One prominent policy proposal requires explicitly labeling AI-generated content to increase transparency and encourage critical thinking about the information, but prior research has not yet tested the effects of such labels. To address this gap, we conducted a survey experiment (N=1601) on a diverse sample of Americans, presenting participants with an AI-generated message about several public policies (e.g., allowing colleges to pay student-athletes), randomly assigning whether participants were told the message was generated by (a) an expert AI model, (b) a human policy expert, or (c) no label. We found that messages were generally persuasive, influencing participants' views of the policies by 9.74 percentage points on average. However, while 94.6% of participants assigned to the AI and human label conditions believed the authorship labels, labels had no significant effects on participants' attitude change toward the policies, judgments of message accuracy, nor intentions to share the message with others. These patterns were robust across a variety of participant characteristics, including prior knowledge of the policy, prior experience with AI, political party, education level, or age. Taken together, these results imply that, while authorship labels would likely enhance transparency, they are unlikely to substantially affect the persuasiveness of the labeled content, highlighting the need for alternative strategies to address challenges posed by AI-generated information.

研究の動機と目的

• AI著者ラベルがAI生成ポリシーメッセージの説得力を変えるかを評価する。
• 複数の政策トピックで3つのラベリング条件（AI生成、人工作成、ラベルなし）をテストする。
• ラベル付きメッセージの提示前後で政策支持と関連する認識の変化を測定する。
• 事前知識、AI経験、人口統計など、参加者の特性に対する頑健性を評価する。

提案手法

• N=1,601人の多様なアメリカ人サンプルを事前登録済みの調査実験。
• 4つの政策提案に対してAIラベル・人間ラベル・ラベルなし条件へ無作為割り当て。
• GPT-4oによって生成され、証拠に基づく説得技術を用いて事実的正確性を編集。
• アウトカム指標には、政策支持の変化（主要指標）、自信、正確性判断、共有意図を0–100スケールで含む。
• ラベリング条件を比較する回帰分析（政策・介入前の支持を統制）。

実験結果

リサーチクエスチョン

• RQ1 AI生成コンテンツをAI・人間・ラベルなしと表示することは、政策態度への説得力に影響を与えるか。
• RQ2 ラベリング条件間で、メッセージの正確性、支持への自信、共有意図に差はあるか。
• RQ3 参加者の特性（事前知識、AI経験、政治的アイデンティティ、教育、年齢）はラベリング効果を調整するか。
• RQ4 複数の政策分野でラベリング効果の頑健な一貫性はあるか。

主な発見

• メッセージは全体として説得的で、政策支持を平均で9.74ポイント変化させた。
• AIラベルの参加者のうち94.6%、人間ラベルの参加者のうち89.3%が割り当てられた著者ラベルを信じた。
• AIラベル・人間ラベル・ラベルなし条件間で説得力に有意差はなかった。
• 支持自信、メッセージ正確性判断、共有意図においてラベリング条件間の有意差は見られなかった。