[논문 리뷰] Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments

Carlos Carrasco-Farré|arXiv (Cornell University)|2024. 04. 14.

European and International Law Studies인용 수 12

한 줄 요약

본 논문은 LLM이 생성한 주장과 인간이 생성한 주장을 비교하여 LLM이 더 높은 인지적 노력을 요구하고 더 많은 도덕적 언어를 사용하며 정서적 내용에는 차이가 없음을 보여준다.

ABSTRACT

Large Language Models (LLMs) are already as persuasive as humans. However, we know very little about how they do it. This paper investigates the persuasion strategies of LLMs, comparing them with human-generated arguments. Using a dataset of 1,251 participants in an experiment, we analyze the persuasion strategies of LLM-generated and human-generated arguments using measures of cognitive effort (lexical and grammatical complexity) and moral-emotional language (sentiment and moral analysis). The study reveals that LLMs produce arguments that require higher cognitive effort, exhibiting more complex grammatical and lexical structures than human counterparts. Additionally, LLMs demonstrate a significant propensity to engage more deeply with moral language, utilizing both positive and negative moral foundations more frequently than humans. In contrast with previous research, no significant difference was found in the emotional content produced by LLMs and humans. These findings contribute to the discourse on AI and persuasion, highlighting the dual potential of LLMs to both enhance and undermine informational integrity through communication strategies for digital persuasion.

연구 동기 및 목표

• LLM이 인간과 비교해 설득하는 방식을 조사한다.
• 주장의 인지적 노력(어휘 및 문법 복잡성)을 분석한다.
• LLM 및 인간 주장에서 도덕적-정서적 언어의 사용을 검토한다.

제안 방법

• 실험에 참여한 1,251명의 데이터셋을 사용한다.
• 인지적 노력 관점에서 어휘/문법 복잡성을 통해 LLM 생성 주장과 인간 생성 주장을 분석한다.
• 도덕적 언어를 도덕적 기초 분석과 감정 분석으로 평가한다.
• LLM 주장과 인간 주장의 정서적 내용을 비교한다.

실험 결과

연구 질문

• RQ1 LLM 생성 주장이 인지적 노력 지표에서 인간 주장의 차이를 보이는가?
• RQ2 LLM 주장이 인간 주장보다 더 많은 도덕적 언어를 사용하는가?
• RQ3 LLM 주장과 인간 주장 사이에 정서적 내용의 차이가 있는가?

주요 결과

• LLMs는 더 복잡한 문법과 어휘를 통해 더 높은 인지적 노력을 요구하는 주장을 생성한다.
• LLMs는 긍정적 및 부정적 도덕적 기초를 더 자주 사용하며 도덕적 언어를 더 깊이 다루는 경향이 있다.
• LLM과 인간 주장의 정서적 내용에는 통계적으로 유의한 차이가 없다.