[论文解读] The Persuasive Power of Large Language Models

Simon Martin Breum, Daniel Vædele Egdal+3 more|arXiv (Cornell University)|Dec 24, 2023

Opinion Dynamics and Social Influence被引用 6

一句话总结

本研究探讨了大型语言模型（LLMs）在合成对话场景中的说服能力，其中‘说服者’LLM生成论点以改变‘怀疑者’LLM对气候变化观点的立场。结果显示，包含事实知识、信任标记、支持表达和地位信息的论点在改变人工与人类观点方面最为有效，且人类对知识丰富内容的偏好更为强烈。

ABSTRACT

The increasing capability of Large Language Models to act as human-like social agents raises two important questions in the area of opinion dynamics. First, whether these agents can generate effective arguments that could be injected into the online discourse to steer the public opinion. Second, whether artificial agents can interact with each other to reproduce dynamics of persuasion typical of human social systems, opening up opportunities for studying synthetic social systems as faithful proxies for opinion dynamics in human populations. To address these questions, we designed a synthetic persuasion dialogue scenario on the topic of climate change, where a 'convincer' agent generates a persuasive argument for a 'skeptic' agent, who subsequently assesses whether the argument changed its internal opinion state. Different types of arguments were generated to incorporate different linguistic dimensions underpinning psycho-linguistic theories of opinion change. We then asked human judges to evaluate the persuasiveness of machine-generated arguments. Arguments that included factual knowledge, markers of trust, expressions of support, and conveyed status were deemed most effective according to both humans and agents, with humans reporting a marked preference for knowledge-based arguments. Our experimental framework lays the groundwork for future in-silico studies of opinion dynamics, and our findings suggest that artificial agents have the potential of playing an important role in collective processes of opinion formation in online social media.

研究动机与目标

• 评估LLMs是否能在合成对话中模拟真实的人类说服动态与观点转变过程。
• 评估LLMs是否可通过提示生成基于心理语言学说服理论的多样化论点。
• 确定能够改变LLM观点状态的论点是否同样被人类评判者视为具有说服力。
• 建立一个可扩展的仿真框架，用于研究合成社会系统中的观点动态。

提出的方法

• 设计了一种合成说服对话框架，其中‘说服者’LLM生成一次性论点，以影响‘怀疑者’LLM在气候变化问题上的内部观点状态。
• 通过调整‘怀疑者’代理的固执程度，模拟不同抵抗水平，从而实现对论点有效性的受控评估。
• 基于心理语言学中的观点转变理论，生成融合不同语言维度（事实知识、信任标记、支持表达与地位传达）的论点。
• 收集人类对LLM生成论点的说服力判断，以比较人类与代理的评估结果。
• 通过词数分析，探究论点长度在不同社会维度与固执程度下的说服力影响。
• 通过二元成功指标衡量‘怀疑者’LLM在接收到论点后是否更新其观点状态，以评估论点的有效性。

实验结果

研究问题

• RQ1 RQ1：LLMs能否在合成对话场景中模拟真实的人类说服与观点转变动态？
• RQ2 RQ2：LLMs能否被有效提示，基于心理语言学理论生成多样化说服策略的论点？
• RQ3 RQ3：能够影响人工代理观点的论点是否同样被人类评判者视为具有说服力？
• RQ4 RQ4：知识、信任、支持与地位等语言维度如何影响LLM与人类评估中的说服力？

主要发现

• 融合事实知识、信任标记、支持表达与地位传达的论点，在LLM代理与人类评判者中均被评为最具说服力。
• 人类评判者对基于知识的论点表现出显著更强的偏好，而LLM代理则无此倾向，表明其评估优先级存在差异。
• 随着‘怀疑者’LLM固执程度的提高，其观点转变的概率下降，证实了模型对抵抗水平的敏感性。
• 成功改变怀疑者观点的论点平均略长，尤其在高固执度条件下，表明长度可能在一定程度上调节说服效果。
• 该合成对话框架成功再现了人类说服动态的关键特征，如抵抗程度提高时说服力下降。
• 尽管存在偏好差异，LLM与人类评估结果之间的一致性支持将人工代理作为研究人类观点动态的代理工具。