[論文レビュー] Perceived Political Bias in LLMs Reduces Persuasive Abilities

Matthew DiGiuseppe, Joshua Robison|arXiv (Cornell University)|Feb 20, 2026

Misinformation and Its Impacts被引用数 0

ひとこと要約

研究は、チャットGPTが回答者の政党に対して偏っていると示唆する短い手がかりが、 preregistered U.S. 実験（N=2,144）における LLM ベースの説得を約28%低減させることを示している。

ABSTRACT

Conversational AI has been proposed as a scalable way to correct public misconceptions and spread misinformation. Yet its effectiveness may depend on perceptions of its political neutrality. As LLMs enter partisan conflict, elites increasingly portray them as ideologically aligned. We test whether these credibility attacks reduce LLM-based persuasion. In a preregistered U.S. survey experiment (N=2144), participants completed a three-round conversation with ChatGPT about a personally held economic policy misconception. Compared to a neutral control, a short message indicating that the LLM was biased against the respondent's party attenuated persuasion by 28%. Transcript analysis indicates that the warnings alter the interaction: respondents push back more and engage less receptively. These findings suggest that the persuasive impact of conversational AI is politically contingent, constrained by perceptions of partisan alignment.

研究の動機と目的

• LLM の中立性の認識が政治的説得力を制約するかを検討する。
• 偏りの手掛かりが LLM 主導の経済政策誤解における信念変化へ因果効果を及ぼすかを検証する。
• 偏り情報への露出が、関与、信頼、政治や政策課題に対する AI 使用意欲へ与える影響を評価する。

提案手法

• 米国で preregistered の四群間の介入前後実験（N=2,144）を実施。
• 六つの経済的誤解について、非推論型 ChatGPT（モデル 4.1）との三回対話を実施。
• 被験者を無作為に処置群へ割り当て：対照群；無方向性の偏り；対党（軽度）偏り；対党（重度）偏り。
• 真実性を保ちつつ合意へ説得するよう一般的プロンプトで LLM を導く。
• 説得力と退け方を評価するための議論的指摘をベイズ Brad­ley–Terry モデルで分析。
• 処置後の誤解の一致を推定するため、トピック固定効果と事前処置合意を用いた OLS モデル。

実験結果

リサーチクエスチョン

• RQ1 LLM が回答者の政党に対して偏っていると示唆する信号は、経済的誤解に対する説得力を低下させるか。
• RQ2 偏り手掛かりによる説得の減衰はどの程度か、トピックや党派性を超えて一貫性があるか。
• RQ3 偏り手掛かりに伴う行動的・態度的影響（例：知覚される説得力、AI への信頼、再利用意欲）はどうなるか。

主な発見

• 重い偏り手掛かりは対照群と比べ説得力を 28% 減少させる（95% CI: 16%–40%）。
• 対照群では、誤解に関する一致の事前–事後の平均変化は 0–4 スケールの -1.20 であり、重度処置群では -0.86、28%の減衰。
• 対照群の回答者の 34.4% が自分の見解を覆したのに対し、重度処置群では 22.1% にとどまる。
• 対党偏り手掛かりは偏りの認知を高め、複数のトピックで誤解への一致を低下させる。
• 重度/軽度の処置群の回答者は、LLM の知覚される説得力が低く、AI を再度使用する意欲が低下したと報告した。
• 議事録分析では、偏り手掛かりの下で関与と論証性が高まり、関与の低下は見られなかった。