[論文レビュー] Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns

Ning Bian, Hongyu Lin+6 more|arXiv (Cornell University)|May 8, 2023

Topic Modeling被引用数 7

ひとこと要約

外部の発言や意見がLLMの記憶・意見・行動を形作ると分析し、権威バイアスや感情伝染などの社会認知パターンを三つの実験で明らかにする。

ABSTRACT

Social cognitive theory explains how people learn and acquire knowledge through observing others. Recent years have witnessed the rapid development of large language models (LLMs), which suggests their potential significance as agents in the society. LLMs, as AI agents, can observe external information, which shapes their cognition and behaviors. However, the extent to which external information influences LLMs' cognition and behaviors remains unclear. This study investigates how external statements and opinions influence LLMs' thoughts and behaviors from a social cognitive perspective. Three experiments were conducted to explore the effects of external information on LLMs' memories, opinions, and social media behavioral decisions. Sociocognitive factors, including source authority, social identity, and social role, were analyzed to investigate their moderating effects. Results showed that external information can significantly shape LLMs' memories, opinions, and behaviors, with these changes mirroring human social cognitive patterns such as authority bias, in-group bias, emotional positivity, and emotion contagion. This underscores the challenges in developing safe and unbiased LLMs, and emphasizes the importance of understanding the susceptibility of LLMs to external influences.

研究の動機と目的

• LLMが社会認知の観点から外部情報の影響を受けやすい点を理解する動機付け。
• 外部の客観的発言がLLMの記憶をどう変えるかを調査する（Exp. 1）。
• 外部の主観的意見がLLMの意見をどう変えるかを調査する（Exp. 2）。
• 変化した記憶と意見がオンラインのソーシャルネットワーク行動へどう翻訳されるかを調査する（Exp. 3）。
• 情報源の権威、社会的アイデンティティ、社会的役割といった社会認知的要因のモデレーションを特定する。

提案手法

• 外部の発言・意見をLLMのプロンプトまたは文脈と組み合わせた三つの統制実験。
• 直接・間接・周辺質問を通じた回答の正確性で記憶変化を測定。
• 権威と社会的アイデンティティの手掛かりを変えた討論の投票スコアによって意見変化を評価。
• さまざまな感情と著者フォロー関係を持つ模擬的なTwitter投稿上での共有・返信行動を評価。
• 統計的比較（有意性検定など）を用いて外部情報へのモデル反応を分析（ChatGPT、Alpaca、VicunaのLLM間）。
• Exp.1では、文脈内に反事実的発言を埋め込み、意味的拡散による記憶を測定。

実験結果

リサーチクエスチョン

• RQ1 外部の客観的発言はLLMの記憶と関連知識の正確性を変えるか？
• RQ2 外部の主観的意見はLLMの見解を動かし、権威・アイデンティティ・社会的役割の信号はこの効果をどう修飾するか？
• RQ3 記憶と意見の変化はソーシャルプラットフォーム上の共有/リプライといった観察可能な行動決定へ翻訳されるか？
• RQ4 社会認知的要因（情報源の権威、社会的アイデンティティ、社会的役割）はこれらの影響をどのように修飾するか？
• RQ5 外部情報に対する脆弱性にはLLM間で差があるか？

主な発見

Model	Information Acquisition Method	#Texts	Direct	Indirect	Peripheral	Average
Alpaca	– Without Counterfactual Info.	–	83.3%	83.3%	76.7%	81.1%
Alpaca	Full-parameter Fine-tune	1,846	73.3%	69.2%	60.0%	67.5%
Alpaca	LoRA	80	66.7%	65.8%	59.6%	64.0%
Alpaca	LoRA	1,846	60.0%	53.8%	57.1%	56.9%
Alpaca	In-Context	80	32.9%	40.0%	45.4%	39.4%

• 外部発言はLLMの記憶を変え得る。反事実 exposure 後、直接・間接・周辺質問の正確性が低下。
• 情報の信頼性が記憶への影響を強め、信頼性の高い情報源ほど直接質問での正確性低下を大きく引き起こす。
• 外部的意見は、権威的で同族内、または肯定的な社会的役割を持つ情報源からの場合に特にLLMの見解を有意に変える。
• 情報源の信頼性が高まるにつれて権威シグナルへの依存が強まり、ChatGPTはVicunaやAlpacaより感受性が強い。
• opposing opinions が同時に提示されるとLLMsの見解は中立的に変化し得る。GPTモデルの世代が進むほど意見への感受性が高まる。
• ツイートの感情がLLMsの共有意欲に大きく影響し、ポジティブな感情は共有を増やし、ネガティブな感情は減少させる。センチメントと共有決定は相関がある（Pearson 0.989）。
• ChatGPTは感情内容と著者の人気度に対して、感情後の共有/リプライ課題で、VicunaやAlpacaより強く感受性を示す。
• リプライ者の感情と著者人気の手掛かりは、感情伝染とLLMの回答におけるポジティビティを示唆。