[論文レビュー] When Large Language Models are More PersuasiveThan Incentivized Humans, and Why

Philipp Schoenegger, Fabrizio Salvi+38 more|ArXiv.org|May 14, 2025

Misinformation and Its Impacts被引用数 4

ひとこと要約

論文は二つの大規模言語モデル（Claude 3.5 Sonnet と DeepSeek v3）をインセンティブを受けた人間と比較し、リアルタイムの説得タスクで、LLMがしばしばより説得力があり、対象回答の真実性とモデルに応じた正確性に影響を与えることを発見した。

ABSTRACT

Large Language Models (LLMs) have been shown to be highly persuasive, but when and why they outperform humans is still an open question. We compare the persuasiveness of two LLMs (Claude 3.5 Sonnet and DeepSeek v3) against humans who had incentives to persuade, using an interactive, real-time conversational setting. We demonstrate that LLMs persuasive superiority is context-dependent: it depends on whether the persuasion attempt is truthful (towards the right answer) or deceptive (towards the wrong answer) and on the LLM model, and wanes over repeated interactions (unlike human persuasiveness). In our first large-scale experiment, humans vs LLMs (Claude 3.5 Sonnet) interacted with other humans who were completing an online quiz for a reward, attempting to persuade them toward a given (either correct or incorrect) answer. Claude was more persuasive than incentivized human persuaders both in truthful and deceptive contexts and it significantly increased accuracy if persuasion was truthful, but decreased it if persuasion was deceptive. In a follow-up experiment with Deepseek v3, we replicated the findings about accuracy but found greater LLM persuasiveness only if the persuasion was deceptive. Linguistic analyses of the persuaders texts suggest that these effects may be due to LLMs expressing higher conviction than humans.

研究の動機と目的

• LLMが説得タスクでインセンティブを受けた人間を上回る条件を調査する。
• 説得における真実性と欺瞞が結果にどのように影響するかを検証する。
• 二つのLLM（Claude 3.5 SonnetとDeepSeek v3）間の説得力を比較する。
• 説得力と信念形成の背景にある言語特徴を分析する。

提案手法

• 説得者がオンラインのクイズ参加者に正解または不正解の回答へ導くリアルタイムの対話実験を実施する。
• Claude 3.5 SonnetとDeepSeek v3の性能をインセンティブを受けた人間の説得者と比較する。
• 真実と欺瞞の説得文脈で正確性の結果を評価する。
• 説得者のテキストの信念形成や他の特徴を特定する言語分析を行う。
• 頑健性を検証するため2つの異なるLLMで再現性を検証する。

実験結果

リサーチクエスチョン

• RQ1 真実性と欺瞞の文脈で、LLMはインセンティブを受けた人間より説得効果が高いか。
• RQ2 説得力は特定のLLMモデルに依存するか。
• RQ3 繰り返し対話で説得力は変化するか。
• RQ4 高い信念と有効性に関連するLLM説得の言語的特徴は何か。

主な発見

• Claudeは最初の実験で真実および欺瞞の両方の説得文脈においてインセンティブを受けた人間より優れている。
• Claudeは説得が真実である場合に正確性を高めるが、欺瞞である場合には正確性を低下させる。
• DeepSeek v3を用いた追跡実験では正確性が再現され、欺瞞的文脈での説得力が主に高まる。
• 言語分析はLLMが人間より高い信念を表現する傾向を示唆しており、これが観察された効果を推進している可能性がある。