[論文レビュー] Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments

Carlos Carrasco-Farré|arXiv (Cornell University)|Apr 14, 2024

European and International Law Studies被引用数 12

ひとこと要約

要するに: 本論文はLLM生成と人間生成の議論を比較し、LLMsは認知的努力を高く要求し、道徳的な言語をより多く使用する一方、感情内容には差がないことを示している。

ABSTRACT

Large Language Models (LLMs) are already as persuasive as humans. However, we know very little about how they do it. This paper investigates the persuasion strategies of LLMs, comparing them with human-generated arguments. Using a dataset of 1,251 participants in an experiment, we analyze the persuasion strategies of LLM-generated and human-generated arguments using measures of cognitive effort (lexical and grammatical complexity) and moral-emotional language (sentiment and moral analysis). The study reveals that LLMs produce arguments that require higher cognitive effort, exhibiting more complex grammatical and lexical structures than human counterparts. Additionally, LLMs demonstrate a significant propensity to engage more deeply with moral language, utilizing both positive and negative moral foundations more frequently than humans. In contrast with previous research, no significant difference was found in the emotional content produced by LLMs and humans. These findings contribute to the discourse on AI and persuasion, highlighting the dual potential of LLMs to both enhance and undermine informational integrity through communication strategies for digital persuasion.

研究の動機と目的

• LLMsが人間と比較してどのように説得するかを調査する。
• 語彙と文法の複雑さによる議論の認知的努力を分析する。
• LLMと人間の議論における道徳・感情言語の使用を検討する。

提案手法

• 実験における1,251名の参加者のデータセットを使用する。
• 語彙/文法の複雑さを通じて、LLM生成と人間生成の議論の認知的努力を分析する。
• 道徳的基盤分析と感情分析を用いて道徳言語を評価する。
• LLMと人間の議論間で感情内容を比較する。

実験結果

リサーチクエスチョン

• RQ1 LLM生成の議論は、認知的努力の指標において人間の議論と異なるか。
• RQ2 LLMの議論は人間の議論よりも多くの道徳的言語を用いるか。
• RQ3 LLMと人間の議論の間に感情内容の差はあるか。

主な発見

• LLMsは、より複雑な文法と語彙を通じて、より高い認知的努力を要する議論を生み出す。
• LLMsは道徳言語により深く関与する傾向を示し、正の道徳基盤と負の道徳基盤を人間よりも頻繁に用いる。
• LLMと人間の議論の間で感情内容に有意な差はない。