[论文解读] Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns

Ning Bian, Hongyu Lin+6 more|arXiv (Cornell University)|May 8, 2023

Topic Modeling被引用 7

一句话总结

本论文分析外部陈述与意见如何塑造大语言模型（LLMs）的记忆、观点与行为，揭示在三项实验中存在的社会认知模式，如权威偏见与情感传染。

ABSTRACT

Social cognitive theory explains how people learn and acquire knowledge through observing others. Recent years have witnessed the rapid development of large language models (LLMs), which suggests their potential significance as agents in the society. LLMs, as AI agents, can observe external information, which shapes their cognition and behaviors. However, the extent to which external information influences LLMs' cognition and behaviors remains unclear. This study investigates how external statements and opinions influence LLMs' thoughts and behaviors from a social cognitive perspective. Three experiments were conducted to explore the effects of external information on LLMs' memories, opinions, and social media behavioral decisions. Sociocognitive factors, including source authority, social identity, and social role, were analyzed to investigate their moderating effects. Results showed that external information can significantly shape LLMs' memories, opinions, and behaviors, with these changes mirroring human social cognitive patterns such as authority bias, in-group bias, emotional positivity, and emotion contagion. This underscores the challenges in developing safe and unbiased LLMs, and emphasizes the importance of understanding the susceptibility of LLMs to external influences.

研究动机与目标

• 从社会认知角度理解LLMs易受外部信息影响的机制以提高理解。
• 研究外部客观陈述如何改变LLMs的记忆（实验1）。
• 研究外部主观意见如何改变LLMs的观点（实验2）。
• 研究记忆与观点的变化如何转化为在线社交网络行为（实验3）。
• 识别如信息源权威、社会认同与社会角色等调节性社会认知因素。

提出的方法

• 三项受控实验，将外部陈述/意见与LLM提示或上下文相结合。
• 通过直接/间接/外围问题的回答准确性来测量记忆变化。
• 通过就辩论的民调分数评估观点变化，辩论中源自不同权威与社会身份线索。
• 在模拟Twitter的帖子中评估分享与回复行为，情感与作者关注度各异。
• 使用统计比较（如显著性检验）分析模型对外部信息的反应，在不同LLMs（ChatGPT、Alpaca、Vicuna）之间比较。
• 在实验1中，将反事实陈述嵌入上下文以衡量记忆的语义扩散。

实验结果

研究问题

• RQ1 外部客观陈述是否会改变LLMs的记忆与相关知识的准确性？
• RQ2 外部主观意见是否会改变LLMs的观点，权威性、身份与社会角色信号如何调节这一效应？
• RQ3 记忆与观点的变化是否会转化为社交平台上可观察的行为决策（分享/回复）？
• RQ4 社会认知因素（信息源权威、社会身份、社会角色）如何调节这些影响？
• RQ5 不同LLMs在对外部信息的易感性方面是否存在差异？

主要发现

Model	Information Acquisition Method	#Texts	Direct	Indirect	Peripheral	Average
Alpaca	– Without Counterfactual Info.	–	83.3%	83.3%	76.7%	81.1%
Alpaca	Full-parameter Fine-tune	1,846	73.3%	69.2%	60.0%	67.5%
Alpaca	LoRA	80	66.7%	65.8%	59.6%	64.0%
Alpaca	LoRA	1,846	60.0%	53.8%	57.1%	56.9%
Alpaca	In-Context	80	32.9%	40.0%	45.4%	39.4%

• 外部陈述会改变LLMs的记忆，在直接、间接、外围问题的准确性在暴露于反事实信息后下降。
• 信息可信度增强记忆影响力，来源可信度越高，直接问题的准确性下降越大。
• 外部意见显著改变LLMs的观点，尤其当来源具权威性、属于同群体或具正面的社会角色时。
• 对权威线索的依赖随信息源可信度提升而增加，ChatGPT的敏感性比Vicuna或Alpaca更强。
• 当出现相反意见时，LLMs的观点可以趋于中性，且对意见的易感性在GPT模型的世代中逐代增加。
• 推文中的情感显著影响LLMs的分享意愿，正向情感增加分享，负向情感减少，情感与分享决策呈相关性（Pearson 0.989）。
• 与情感内容相比，ChatGPT在分享/回复带情感任务中对情感内容与作者受欢迎度的敏感性高于 Vicuna 或 Alpaca。
• 回复者情感与作者人气线索显示情感传染与回应中的积极性。