[論文レビュー] Lies, Damned Lies, and Distributional Language Statistics: Persuasion and Deception with Large Language Models

Cameron R. Jones, Benjamin K. Bergen|arXiv (Cornell University)|Dec 22, 2024

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

大規模言語モデルにおける説得と欺瞞の体系的レビューで、定義、機構、リスク、緩和策を概説します。LLMsが信念に影響を及ぼす方法、潜在的な悪用、そしてミスアラインメントのリスクについて論じます。

ABSTRACT

Large Language Models (LLMs) can generate content that is as persuasive as human-written text and appear capable of selectively producing deceptive outputs. These capabilities raise concerns about potential misuse and unintended consequences as these systems become more widely deployed. This review synthesizes recent empirical work examining LLMs' capacity and proclivity for persuasion and deception, analyzes theoretical risks that could arise from these capabilities, and evaluates proposed mitigations. While current persuasive effects are relatively small, various mechanisms could increase their impact, including fine-tuning, multimodality, and social factors. We outline key open questions for future research, including how persuasive AI systems might become, whether truth enjoys an inherent advantage over falsehoods, and how effective different mitigation strategies may be in practice.

研究の動機と目的

• 概念と分類を明確にするために、LLMsにおける説得と欺瞞に関する既存の研究を要約する。
• LLMsが信念や行動に影響を与える可能性のある機構を強調する。
• 悪用とミスアラインメントといったリスクを特定し、潜在的な緩和策を概説する。
• AIの説得と欺瞞を研究する際の定義上および方法論的課題について議論する。

提案手法

• 用語を統一するために、影響、説得、操作、欺瞞、および戦略的欺瞞の分類法を確立する。
• LLMsがユーザーを説得または欺くことができるかどうかに関する実証的および理論的研究をレビューする（例：訓練データ、幻覚、theory-of-mind）。
• 脅威モデルを分析し、悪用とミスアラインメントリスクを区別する。
• 説得的/欺瞞的なAI出力の背後にある機構と、それらがどのように評価され得るかを論じる。
• AI出力における合理的説得と操作的説得を分類するアプローチを提案する。

Figure 1: A taxonomy of terms for AI persuasion and deception as used in this review. We treat manipulation as a sub-type of persuasion, deception as a type of manipulation, and strategic deception as a selective kind of deception which requires sensitivity to incentives (see El-Sayed et al., 2024,

実験結果

リサーチクエスチョン

• RQ1 AIシステムにおける説得と欺瞞の定義上の境界と分類法は何か？
• RQ2 LLMsを説得的または欺瞗にする機構は何か、そしてそれらをどのように評価できるか？
• RQ3 説得的AIに関連する悪用とミスアラインメントのリスクは何か、そしてそれらはどのように緩和できるか？
• RQ4 研究者はAI出力における合理的説得と操作または欺瞞をどのように区別すべきか？
• RQ5 説得的かつ欺瞞的なLLMsの倫理的・社会的・政策的含意は何か？

主な発見

• 説得的AIは、訓練データ、広範な情報アクセス、コスト/速度の優位性、幻覚、theory-of-mind capabilities、戦略的欺瞞、RL-based optimization、パーソナライズ、およびツール使用の統合から生じうる。
• リスクは、犯罪者、政府、組織、メディア、科学、個人による悪用を広く含み、政治的影響力、詐欺、プロパガンダ、情報の完全性への影響の可能性がある。
• 定義上および方法論的課題 exist in attributing beliefs, intentions, or strategic incentives to LLMs, necessitating non-mentalist operationalizations of deception and influence.
• 影響、説得、合理的説得、操作、欺瞞、戦略的欺瞞を区別する分類法は、実証研究とリスク評価の枠組み作りに役立つ。