[논문 리뷰] Do LLM Agents Exhibit Social Behavior?

Yan Leng, Yuan Yuan|arXiv (Cornell University)|2023. 12. 23.

Blood donation and transfusion practices인용 수 7

한 줄 요약

이 논문은 행동경제학 게임을 사용하여 대규모 언어모델(LM)의 사회적 행동을 체계적으로 평가하기 위해 상태이해-가치-행동(SUVA) 확률적 프레임워크를 도입한다. SUVA는 발화 기반 추론을 분석하여 결정을 예측하며, 대부분의 LLM이 공정성과 보복성과 같은 공익적 행동을 보이며, 특히 능력이 높은 모델일수록 그룹 정체성 효과가 더 강하게 나타남을 드러낸다. 또한 이타심에 대한 추론 참조는 공익적 행동을 증가시키고, 이기심은 이를 감소시킴을 확인한다.

ABSTRACT

As LLMs increasingly take on roles in human-AI interactions and autonomous AI systems, understanding their social behavior becomes important for informed use and continuous improvement. However, their behaviors in social interactions with humans and other agents, as well as the mechanisms shaping their responses, remain underexplored. To address this gap, we introduce a novel probabilistic framework, State-Understanding-Value-Action (SUVA), to systematically analyze LLM responses in social contexts based on their textual outputs (i.e., utterances). Using canonical behavioral economics games and social preference concepts relatable to LLM users, SUVA assesses LLMs' social behavior through both their final decisions and the response generation processes leading to those decisions. Our analysis of eight LLMs -- including two GPT, four LLaMA, and two Mistral models -- suggests that most models do not generate decisions aligned solely with self-interest; instead, they often produce responses that reflect social welfare considerations and display patterns consistent with direct and indirect reciprocity. Additionally, higher-capacity models more frequently display group identity effects. The SUVA framework also provides explainable tools -- including tree-based visualizations and probabilistic dependency analysis -- to elucidate how factors in LLMs' utterance-based reasoning influence their decisions. We demonstrate that utterance-based reasoning reliably predicts LLMs' final actions; references to altruism, fairness, and cooperation in the reasoning increase the likelihood of prosocial actions, while mentions of self-interest and competition reduce them. Overall, our framework enables practitioners to assess LLMs for applications involving social interactions, and provides researchers with a structured method to interpret how LLM behavior arises from utterance-based reasoning.

연구 동기 및 목표

• 인간-AI 상호작용 및 다중 에이전트 상호작용에서 LLM의 사회적 행동에 대한 체계적인 평가 프레임워크 부족 문제를 해결하기 위해.
• LLM이 공정성, 보복성, 이기심과 같은 사회적 맥락에서 어떻게 결정을 내리는지 이해하기 위해.
• 발화 기반 추론이 최종 결정에 어떻게 영향을 미치는지를 투명하고 해석 가능한 방법으로 평가하기 위해.
• 실제 AI 구현에서 조직의 가치와 일치하는 모델 선택 및 정렬을 지원하기 위해.
• 예측 가능하고 현실적인 사회적 행동을 보장함으로써 LLM을 에이전트 기반 모델링에 안정적으로 통합할 수 있도록 하기 위해.

제안 방법

• 행동경제학 게임(예: 독재자 게임)을 사용하여 LLM의 결정과 추론을 유도하고 평가한다.
• 나무 기반의 시각화와 확률적 종속성 분석을 활용하여 발화 내용이 최종 결정에 어떻게 영향을 미치는지 매핑한다.
• 사슬의 사고(Chain-of-Thought, CoT) 추론 내에서 이타심, 공정성, 경쟁성과 같은 사회적 선호도를 정량화하여 결과를 예측한다.
• 다음 토큰 예측을 확률적 결정 경로로 간주하여 추론 내용 기반으로 LLM 결정의 예측 가능성 여부를 통계 모델링으로 평가한다.
• CoT 예측 가능성 분 析를 통한 프레임워크 검증을 통해 추론 내용이 최종 행동을 신뢰성 있게 예측함을 입증한다.

실험 결과

연구 질문

• RQ1 LLM 에이전트는 사회적 결정적 맥락에서 공익적 행동, 예를 들어 공정성과 이타심을 보이나?
• RQ2 발화 기반 추론은 LLM의 사회적 상호작용에서 최종 결정에 어떻게 영향을 미치는가?
• RQ3 모델 아키텍처와 용량이 LLM의 응답에서 사회적 선호도 표현에 얼마나 영향을 미치는가?
• RQ4 공정성 또는 이기심에 대한 참조와 같은 추론 내용이 LLM의 최종 결정을 신뢰성 있게 예측할 수 있는가?
• RQ5 GPT, LLaMA, Mistral 등 다양한 LLM 패밀리 간에 사회적 행동과 추론 패턴에서 어떻게 다른가?

주요 결과

• 대부분의 LLM은 이기심에만 기반해 행동하지 않으며, 오히려 사회적 복지를 반영하는 응답을 자주 생성한다.
• 용량이 높은 LLM일수록 그룹 정체성 효과를 더 일관되게 나타내며, 이는 용량이 사회적 행동 표현에 영향을 미친다는 것을 시사한다.
• GPT와 Mistral 모델에서는 모델 용량 증가와 함께 이기심이 감소하는 경향을 보였지만, LLaMA 모델는 반대로 이기심이 증가하는 경향을 보였다.
• 발화 기반 추론은 최종 결정을 신뢰성 있게 예측한다: 이타심, 공정성, 협력성에 대한 참조는 공익적 행동의 가능성을 높인다.
• 추론 내 이기심과 경쟁성에 대한 언급은 공익적 결정의 확률을 감소시키며, 이는 추론 내용과 행동 간의 인과적 연결을 입증한다.
• SUVA 프레임워크는 나무 기반의 구조와 확률적 종속성 분석을 통해 결정 경로를 성공적으로 시각화하고 해석 가능성을 향상시켰다.