[論文レビュー] The Persuasive Power of Large Language Models

Simon Martin Breum, Daniel Vædele Egdal+3 more|arXiv (Cornell University)|Dec 24, 2023

Opinion Dynamics and Social Influence被引用数 6

ひとこと要約

本研究では、合成対話シナリオにおける大規模言語モデル（LLM）の説得力について調査しており、『説得者』LLMが気候変動に関する意見を変えるために『懐疑者』LLMに主張を生成する。結果として、事実知識、信頼の兆候、支援、ステータスを含む主張が、人工的および人間の意見の両方を変えるのに最も効果的であることが判明した。人間は知識を豊富に含むコンテンツに対してより強い好みを示した。

ABSTRACT

The increasing capability of Large Language Models to act as human-like social agents raises two important questions in the area of opinion dynamics. First, whether these agents can generate effective arguments that could be injected into the online discourse to steer the public opinion. Second, whether artificial agents can interact with each other to reproduce dynamics of persuasion typical of human social systems, opening up opportunities for studying synthetic social systems as faithful proxies for opinion dynamics in human populations. To address these questions, we designed a synthetic persuasion dialogue scenario on the topic of climate change, where a 'convincer' agent generates a persuasive argument for a 'skeptic' agent, who subsequently assesses whether the argument changed its internal opinion state. Different types of arguments were generated to incorporate different linguistic dimensions underpinning psycho-linguistic theories of opinion change. We then asked human judges to evaluate the persuasiveness of machine-generated arguments. Arguments that included factual knowledge, markers of trust, expressions of support, and conveyed status were deemed most effective according to both humans and agents, with humans reporting a marked preference for knowledge-based arguments. Our experimental framework lays the groundwork for future in-silico studies of opinion dynamics, and our findings suggest that artificial agents have the potential of playing an important role in collective processes of opinion formation in online social media.

研究の動機と目的

• LLMが人間らしく意見の変化を再現する合成的対話において、現実的な説得ダイナミクスを模倣できるかどうかを評価すること。
• LLMが心理言語的説得理論に基づいた異なる説得戦略を用いて主張を生成できるかどうかを評価すること。
• 人工エージェントの意見状態を変えるのに効果的な主張が、人間の判断者に対しても説得的に感じられるかどうかを特定すること。
• 合成的社会システムにおける意見ダイナミクスを研究するスケーラブルなインシリコフレームワークを確立すること。

提案手法

• 気候変動に関する『懐疑者』LLMの内部的意見状態を変えるために、『説得者』LLMが一回限りの主張を生成する合成的説得対話フレームワークを設計した。
• 懐疑者エージェントの頑固さを変化させることで、抵抗レベルの異なる状況を模擬し、主張の効果を制御的に評価できるようにした。
• 心理言語的理論に基づき、事実知識、信頼の兆候、支援の表現、ステータスの提示といった異なる言語的次元を含む主張を生成した。
• 人間の判断者がLLMが生成した主張の説得力を評価するデータを収集し、人間とエージェントの評価を比較した。
• 主張の長さが異なる社会的次元および頑固さレベルにおいて説得力に与える影響を調査するため、単語数分析を実施した。
• 『懐疑者』LLMが主張後、意見状態を更新したかどうかを測定することで、主張の効果を二値の成功指標として評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMは、合成的対話シナリオにおいて現実的な説得ダイナミクスと意見変化を模倣できるか？
• RQ2 RQ2: LLMは、心理言語的理論に基づいた多様な説得戦略を効果的にプロンプトで生成できるか？
• RQ3 RQ3: 人工エージェントの意見状態を変えるのに効果的な主張は、人間の判断者に対しても説得的に感じられるか？
• RQ4 RQ4: 知識、信頼、支援、ステータスといった言語的次元が、LLMおよび人間の評価における説得力にどのように影響するか？

主な発見

• 事実知識、信頼の兆候、支援の表現、ステータスの提示を含む主張が、LLMエージェントおよび人間の判断者から最も説得的だと評価された。
• 人間の判断者は、LLMエージェントよりも知識を豊富に含む主張に対して顕著に強い好みを示した。これは、評価の優先順位に乖離が生じていることを示している。
• 『懐疑者』LLMの意見変化確率は、頑固さが高くなるにつれて低下した。これは、モデルが抵抗レベルに感受的であることを確認した。
• 意見を変えることに成功した主張は、平均してやや長く、特に高頑固さの条件下で顕著だった。これは、長さが効果に緩和的要因として働く可能性を示唆している。
• 合成的対話フレームワークは、抵抗の増加に伴い説得力が低下するといった、人間の説得ダイナミクスの主要な特徴を効果的に再現した。
• 好みの差異が存在するものの、LLMと人間の評価の整合性は、人工エージェントを人間の意見ダイナミクスを研究する代替手段として使用できる可能性を支持している。