[논문 리뷰] The Persuasive Power of Large Language Models

Simon Martin Breum, Daniel Vædele Egdal외 3명|arXiv (Cornell University)|2023. 12. 24.

Opinion Dynamics and Social Influence인용 수 6

한 줄 요약

이 연구는 인위적 대화 시나리오에서 대규모 언어 모델(Large Language Models, LLMs)의 설득 능력을 조사한다. 여기서 '설득자' LLM은 기후 변화에 대한 '의심자' LLM의 의견을 바꾸기 위해 주장 생성한다. 결과적으로 사실 지식, 신뢰 마커, 지지 표현, 지위 정보를 포함한 주장이 인간과 인공지능 양쪽의 의견 변화에 가장 효과적인 것으로 나타났으며, 인간은 지식 기반 콘텐츠를 더 강하게 선호하는 것으로 나타났다.

ABSTRACT

The increasing capability of Large Language Models to act as human-like social agents raises two important questions in the area of opinion dynamics. First, whether these agents can generate effective arguments that could be injected into the online discourse to steer the public opinion. Second, whether artificial agents can interact with each other to reproduce dynamics of persuasion typical of human social systems, opening up opportunities for studying synthetic social systems as faithful proxies for opinion dynamics in human populations. To address these questions, we designed a synthetic persuasion dialogue scenario on the topic of climate change, where a 'convincer' agent generates a persuasive argument for a 'skeptic' agent, who subsequently assesses whether the argument changed its internal opinion state. Different types of arguments were generated to incorporate different linguistic dimensions underpinning psycho-linguistic theories of opinion change. We then asked human judges to evaluate the persuasiveness of machine-generated arguments. Arguments that included factual knowledge, markers of trust, expressions of support, and conveyed status were deemed most effective according to both humans and agents, with humans reporting a marked preference for knowledge-based arguments. Our experimental framework lays the groundwork for future in-silico studies of opinion dynamics, and our findings suggest that artificial agents have the potential of playing an important role in collective processes of opinion formation in online social media.

연구 동기 및 목표

• LLMs가 인간과 유사한 의견 변화를 보이는 인위적 대화 시나리오에서 실제적인 설득 역학을 시뮬레이션할 수 있는지 평가하기.
• LLMs가 심리언어학적 설득 전략에 기반한 다양한 전략을 사용해 주장 생성을 유도할 수 있는지 평가하기.
• 인공지능 에이전트의 의견 상태를 변화시키는 데 효과적인 주장이 인간 평가자에게도 설득력 있다고 인식되는지 확인하기.
• 인위적 사회 시스템에서 의견 역학을 연구할 수 있는 확장 가능한 인-실리코 프레임워크 구축하기.

제안 방법

• 기후 변화에 대한 '의심자' LLM의 내부 의견 상태를 변화시키기 위해 '설득자' LLM이 일회성 주장 생성하는 인위적 설득 대화 프레임워크 설계.
• 의심자 에이전트의 고집스러움을 다양화하여 저항 수준을 시뮬레이션하고, 주장의 효과성에 대한 통제된 평가 가능하게 함.
• 심리언어학적 의견 변화 이론에 기반해 사실 지식, 신뢰 마커, 지지 표현, 지위 정보 등의 언어적 차원을 포함한 주장 생성.
• LLM이 생성한 주장의 설득력에 대해 인간 평가를 수집하여 인간과 에이전트 평가 비교.
• 단어 수 분석을 통해 다양한 사회적 차원과 고집스러움 수준에서 주장 길이가 설득력에 미치는 영향 탐색.
• 설득자 에이전트가 주장 후 의견 상태를 갱신했는지 측정하여 이진 성공 지표를 사용해 주장의 효과성 평가.

실험 결과

연구 질문

• RQ1 RQ1: LLMs는 인위적 대화 시나리오에서 실제적인 설득 및 의견 변화 역학을 모방할 수 있는가?
• RQ2 RQ2: LLMs는 심리언어학적 이론에 기반한 다양한 설득 전략을 효과적으로 유도할 수 있는가?
• RQ3 RQ3: 인공지능 에이전트의 의견을 변화시키는 데 효과적인 주장이 인간 평가자에게도 설득력 있다고 여겨지는가?
• RQ4 RQ4: 지식, 신뢰, 지지, 지위와 같은 언어적 차원이 LLM 및 인간 평가에서 설득력에 어떻게 영향을 미치는가?

주요 결과

• 사실 지식, 신뢰 마커, 지지 표현, 지위 정보를 포함한 주장은 LLM 에이전트와 인간 평가자 모두에게 가장 설득력 있다고 평가됨.
• 인간 평가자는 지식 기반 주장에 더 강한 선호를 보였으며, 이는 평가 우선순위에서의 괴리가 있음을 시사함.
• 의심자 LLM의 의견 변화 확률은 고집스러움 증가에 따라 감소하여, 모델이 저항 수준에 민감함을 확인함.
• 의견을 변화시킨 성공한 주장은 평균적으로 약간 더 길었으며, 특히 고고집스러운 조건에서 두드러짐. 이는 길이가 효과성에 영향을 미칠 수 있음을 시사함.
• 인위적 대화 프레임워크는 인간 설득 역학의 핵심 특성, 예를 들어 저항 수준 증가에 따른 설득력 감소를 성공적으로 재현함.
• 선호도의 차이가 있음에도 불구하고, LLM과 인간 평가 간의 일치는 인공지능 에이전트를 인간 의견 역학 연구의 대체 수단으로 사용할 수 있음을 뒷받침함.