[論文レビュー] Persuasion with Large Language Models: a Survey

Alexander Rogiers, Sander Noels+2 more|arXiv (Cornell University)|Nov 11, 2024

Misinformation and Its Impacts被引用数 5

ひとこと要約

LLMがさまざまな分野で説得に用いられる方法、説得力に影響を与える要因、実験デザイン、倫理的リスクの体系的調査。

ABSTRACT

The rapid rise of Large Language Models (LLMs) has created new disruptive possibilities for persuasive communication, by enabling fully-automated personalized and interactive content generation at an unprecedented scale. In this paper, we survey the research field of LLM-based persuasion that has emerged as a result. We begin by exploring the different modes in which LLM Systems are used to influence human attitudes and behaviors. In areas such as politics, marketing, public health, e-commerce, and charitable giving, such LLM Systems have already achieved human-level or even super-human persuasiveness. We identify key factors influencing their effectiveness, such as the manner of personalization and whether the content is labelled as AI-generated. We also summarize the experimental designs that have been used to evaluate progress. Our survey suggests that the current and future potential of LLM-based persuasion poses profound ethical and societal risks, including the spread of misinformation, the magnification of biases, and the invasion of privacy. These risks underscore the urgent need for ethical guidelines and updated regulatory frameworks to avoid the widespread deployment of irresponsible and harmful LLM Systems.

研究の動機と目的

• 政治、公共保健、マーケティング、eコマース、誤情報、慈善活動にわたるLLMベースの説得の現状を把握する。
• 対話モード、モデル規模、ラベリング、パーソナライズ、権威への訴えなど、説得力に影響を与える要因を特定する。
• LLM説得を評価し有効性を測るために用いられる実験設計をレビューする。
• LLM主導の説得に関する倫理的・規制上の考慮事項と社会的リスクの可能性を論じる。

提案手法

• 2022年から2024年までの査読付き論文、会議論文、および業界レポートの系統的レビュー。
• 応用分野、影響因子、方法論、成功指標を統合する。
• 調査対象論文を分野、 studied factors、方法論ごとに要約表（表1）を提供する。
• 実験デザイン、処置構造、対照条件、成功の定量化を分類する。

Figure 1: Overview of factors influencing the persuasiveness of an LLM System: (1) whether interactive dialogue is used, (2) the size of the LLM, (3) whether AI authorship is disclosed to users, (4) whether prompts are specifically engineered for persuasion, (5) the use of personal data for personal

実験結果

リサーチクエスチョン

• RQ1 LLMシステムはどの分野に説得のために適用され、効果はどの程度か。
• RQ2 LLMベースのコンテンツの説得力に一貫して影響を与える要因は何か。
• RQ3 LLM説得を評価するためにどんな実験デザインが用いられ、成功はどのように測定されているか。
• RQ4 LLMベースの説得から生じる倫理・規制上の課題は何か、どんなガイドラインが提案されているか。

主な発見

• LLMシステムは特定のタスクや分野で人間レベルまたは超人レベルの説得力を発揮できる。
• 説得力は対話スタイル、モデル規模、AI出典のラベリング、プロンプト設計、パーソナライズ、権威への訴えによって大幅に影響を受ける。
• 対話型の対話とパーソナライズは一般的に説得力を高め、エンゲージメントが高いほど効果が強くなる傾向がある。
• AI作成の開示は専門分野での説得力の知覚を低下させる可能性があるが、パーソナライズはこの効果を緩和できる場合がある。
• 誤情報拡散、バイアスの増幅、プライバシー問題など、重要な倫理・社会的リスクが存在するため、ガイドラインと更新された規制の必要性がある。