[논문 리뷰] Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns

Ning Bian, Hongyu Lin외 6명|arXiv (Cornell University)|2023. 05. 08.

Topic Modeling인용 수 7

한 줄 요약

본 논문은 외부 발언과 의견이 LLM의 기억, 의견 및 행동에 어떤 영향을 미치는지 분석하며, 세 가지 실험에서 권위 편향 및 감정 전염과 같은 사회인지 패턴을 드러낸다.

ABSTRACT

Social cognitive theory explains how people learn and acquire knowledge through observing others. Recent years have witnessed the rapid development of large language models (LLMs), which suggests their potential significance as agents in the society. LLMs, as AI agents, can observe external information, which shapes their cognition and behaviors. However, the extent to which external information influences LLMs' cognition and behaviors remains unclear. This study investigates how external statements and opinions influence LLMs' thoughts and behaviors from a social cognitive perspective. Three experiments were conducted to explore the effects of external information on LLMs' memories, opinions, and social media behavioral decisions. Sociocognitive factors, including source authority, social identity, and social role, were analyzed to investigate their moderating effects. Results showed that external information can significantly shape LLMs' memories, opinions, and behaviors, with these changes mirroring human social cognitive patterns such as authority bias, in-group bias, emotional positivity, and emotion contagion. This underscores the challenges in developing safe and unbiased LLMs, and emphasizes the importance of understanding the susceptibility of LLMs to external influences.

연구 동기 및 목표

• LLM의 외부 정보에 대한 사회 인지 관점에서의 취약성 이해를 촉진한다.
• 실험 1에서 외부 객관적 진술이 LLM의 기억을 어떻게 바꾸는지 조사한다.
• 실험 2에서 외부 주관적 의견이 LLM의 의견을 어떻게 바꾸는지 조사한다.
• 실험 3에서 기억과 의견의 변화가 온라인 소셜 네트워크 행동으로 어떻게 번역되는지 평가한다.
• 출처의 권위, 사회 정체성, 사회적 역할과 같은 조절적 사회인지 요인을 식별한다.

제안 방법

• 외부 진술/의견을 LLM 프롬프트나 맥락과 결합하는 세 가지 제어된 실험.
• 직접/간접/주변 질문에 걸친 정답 정확도를 통해 기억 변화 측정.
• 서로 다른 출처 권위 및 사회 정체성 신호를 가진 토론에 대한 설문 점수로 의견 변화 평가.
• 다양한 감정과 작가 팔로우를 가진 시뮬레이션된 트위터 게시물에서 공유 및 응답 행동 평가.
• 통계적 비교(예: 유의성 검정)를 통해 LLM(ChatGPT, Alpaca, Vicuna) 간 외부 정보에 대한 모델 응답 분석.
• 실험 1에서 맥락에 반사적(not counterfactual) 진술을 삽입하여 기억에서의 의미론적 확산을 측정한다.

실험 결과

연구 질문

• RQ1 외부 객체 진술이 LLM의 기억 및 관련 지식 정확도를 수정하는가?
• RQ2 권위, 정체성, 사회적 역할 신호가 이 효과를 어떤 방식으로 수정하는가?
• RQ3 기억과 의견의 변화가 소셜 플랫폼에서의 공유/응답과 같은 관찰 가능한 행동 결정으로 번역되는가?
• RQ4 사회인지 요인(출처 권위, 사회 정체성, 사회적 역할)이 이러한 영향에 어떤 moderating 역할을 하는가?
• RQ5 외부 정보에 대한 취약성에서 LLM 간 차이가 있는가?

주요 결과

모델	정보 취득 방법	#텍스트	직접	간접	주변	평균
Alpaca	– Without Counterfactual Info.	–	83.3%	83.3%	76.7%	81.1%
Alpaca	Full-parameter Fine-tune	1,846	73.3%	69.2%	60.0%	67.5%
Alpaca	LoRA	80	66.7%	65.8%	59.6%	64.0%
Alpaca	LoRA	1,846	60.0%	53.8%	57.1%	56.9%
Alpaca	In-Context	80	32.9%	40.0%	45.4%	39.4%

• 외부 진술은 LLM의 기억을 바꿀 수 있으며, 반사실 정보 노출 후 직접/간접/주변 질문의 정확도 하락이 나타난다.
• 정보 신뢰도가 높아질수록 기억 영향력이 커져 특히 직접 질문의 정확도 감소가 더 큰 경향을 보인다.
• 외부 의견은 특히 권위 있는 출처, 내집단, 긍정적 사회 역할에서 LLM의 관점을 크게 바꾼다.
• 출처 신뢰도가 높아질수록 권위 신호에 대한 의존도 증가하며 ChatGPT가 Vicuna나 Alpaca보다 민감도가 더 강하다.
• 상반되는 의견이 함께 제시되면 LLM의 의견은 중립적으로 바뀔 수 있으며, GPT 모델의 세대가 진보할수록 의견에 대한 취약성이 커진다.
• 트윗의 감정은 LLM의 공유 의사에 크게 영향을 미쳐 긍정적 감정은 공유를 증가시키고 부정적 감정은 이를 감소시키며 감정이 공유 결정과 상관관계가 있다(Pearson 0.989).
• ChatGPT는 공유/게시물 감정 반응 작업에서 Vicuna나 Alpaca보다 감정 콘텐츠와 작성자 인기의 민감도가 더 강하게 나타난다.
• 응답자의 감정과 작성자 인기 신호는 LLM의 응답에서 감정 전염과 긍정성을 나타낸다.