[论文解读] Susceptibility to Influence of Large Language Models

Lewis D. Griffin, Bennett Kleinberg+5 more|arXiv (Cornell University)|Mar 10, 2023

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本文研究大型语言模型（LLMs）是否能够模拟人类对心理影响的易感性，测试了两种模式：虚假真实效应（ITE）和新闻中的民粹主义框架。通过真实人类与LLM模拟的参与者，研究发现LLM能够复现关键的人类影响效应——尤其是ITE——并在一定程度上模拟复杂的政治理解模式，表明LLM在模拟心理影响方面具有显著的保真度。

ABSTRACT

Two studies tested the hypothesis that a Large Language Model (LLM) can be used to model psychological change following exposure to influential input. The first study tested a generic mode of influence - the Illusory Truth Effect (ITE) - where earlier exposure to a statement (through, for example, rating its interest) boosts a later truthfulness test rating. Data was collected from 1000 human participants using an online experiment, and 1000 simulated participants using engineered prompts and LLM completion. 64 ratings per participant were collected, using all exposure-test combinations of the attributes: truth, interest, sentiment and importance. The results for human participants reconfirmed the ITE, and demonstrated an absence of effect for attributes other than truth, and when the same attribute is used for exposure and test. The same pattern of effects was found for LLM-simulated participants. The second study concerns a specific mode of influence - populist framing of news to increase its persuasion and political mobilization. Data from LLM-simulated participants was collected and compared to previously published data from a 15-country experiment on 7286 human participants. Several effects previously demonstrated from the human study were replicated by the simulated study, including effects that surprised the authors of the human study by contradicting their theoretical expectations (anti-immigrant framing of news decreases its persuasion and mobilization); but some significant relationships found in human data (modulation of the effectiveness of populist framing according to relative deprivation of the participant) were not present in the LLM data. Together the two studies support the view that LLMs have potential to act as models of the effect of influence.

研究动机与目标

• 检验LLM是否能够在受控实验环境中模拟人类对心理影响的易感性。
• 评估LLM在回应影响时复现人类行为模式的程度，特别是在真实感知和政治说服方面。
• 将LLM模拟参与者的数据与大规模实验中获得的真实人类数据进行比较，以探究影响机制。
• 测试LLM是否能够复现人类研究中的反直觉发现，例如反移民框架导致说服力降低。
• 评估LLM在捕捉情境依赖效应（如相对剥夺所调节的效应）方面的局限性。

提出的方法

• 通过设计的提示词，在线开展了一项包含1,000名真实人类参与者和1,000名LLM模拟参与者的实验，模拟暴露与测试阶段。
• 采用4×4设计，涵盖真实度、兴趣、情感和重要性属性，以测量不同暴露-测试组合下的影响效应。
• 使用LLM生成基于暴露历史的响应，模拟人类评分，以建模虚假真实效应（ITE）。
• 使用LLM模拟参与者复现了一项涵盖15个国家的人类研究中的民粹主义框架效应，并与已发表的人类数据进行比较。
• 应用统计建模，比较人类与LLM模拟数据在不同影响条件下的效应量和模式。
• 使用标准化指标评估复现保真度，包括方向性、显著性以及意外发现。

实验结果

研究问题

• RQ1 LLM能否准确模拟人类在响应模式上的虚假真实效应（ITE）？
• RQ2 当暴露于真实度、兴趣、情感和重要性不同的陈述时，LLM模拟参与者是否表现出与真实人类相同的易感性？
• RQ3 LLM能否复现复杂的政治理解影响效应，例如民粹主义框架对说服力和动员的影响？
• RQ4 是否存在特定的心理效应——尤其是反直觉的效应——尽管整体相似性较高，LLM仍无法复现？
• RQ5 与真实人类相比，相对剥夺在多大程度上调节了LLM模拟参与者中民粹主义框架的有效性？

主要发现

• 虚假真实效应（ITE）在真实人类和LLM模拟参与者中均得到稳健复现，真实度评分在先前暴露后上升。
• 除真实度外，其他属性在真实人类或LLM数据中均未观察到显著影响效应，支持ITE的特异性。
• 当暴露与测试使用相同属性（如真实度）时，未发现显著效应，表明ITE要求暴露与测试属性之间存在区分。
• LLM模拟参与者复现了15国人类研究中关于民粹主义框架的若干关键发现，包括反直觉结果：反移民框架降低了说服力和动员力。
• 然而，LLM数据未能复现人类研究中相对剥夺调节民粹主义框架有效性的效应，表明LLM在建模情境敏感的心理变量方面存在局限性。
• 总体而言，LLM在模拟影响机制方面表现出极高的保真度，尤其在可预测且有充分记录的效应（如ITE和特定框架结果）方面。