[논문 리뷰] Emergence of Scale-Free Networks in Social Interactions among Large Language Models

Giordano De Marzo, L. Pietronero외 1명|arXiv (Cornell University)|2023. 12. 11.

Opinion Dynamics and Social Influence인용 수 4

한 줄 요약

이 연구는 GPT-3.5-turbo로 구동되는 생성형 에이전트가 사회적 상호작용을 통해 자발적으로 스케일프리 네트워크를 형성함을 보여주며, 이는 인간의 온라인 행동을 반영한다. 힘의 법칙에 따르는 정도 분포(지수 α = 1.93 ± 0.12)와 선형 선호적 연결이 확인되어, LLM 기반 에이전트가 실제 소셜 미디어에서 관찰되는 집단적 네트워크 구조를 재현함을 입증한다. 이는 토큰 분포 편향을 에이전트 이름 변경을 통해 보정함으로써 가능하다.

ABSTRACT

Scale-free networks are one of the most famous examples of emergent behavior and are ubiquitous in social systems, especially online social media in which users can follow each other. By analyzing the interactions of multiple generative agents using GPT3.5-turbo as a language model, we demonstrate their ability to not only mimic individual human linguistic behavior but also exhibit collective phenomena intrinsic to human societies, in particular the emergence of scale-free networks. We discovered that this process is disrupted by a skewed token prior distribution of GPT3.5-turbo, which can lead to networks with extreme centralization as a kind of alignment. We show how renaming agents removes these token priors and allows the model to generate a range of networks from random networks to more realistic scale-free networks.

연구 동기 및 목표

• 생성형 에이전트가 LLM에 의해 구동될 때 실제 세계의 소셜 네트워크와 유사한 복잡한 네트워크 구조로 자율적으로 조직될 수 있는지 조사하는 것.
• LLM 기반 에이전트가 스케일프리 네트워크 형성의 핵심 메커니즘인 선형 선호적 연결을 보이는지 확인하는 것.
• 모델 고유의 편향—특히 GPT-3.5-turbo의 편향된 토큰 사전 확률—이 네트워크 구조와 중심성에 미치는 영향을 분석하는 것.
• 에이전트 이름 변경이 정렬 유도 오차를 완화하고 현실적인 네트워크 형성 복원에 기여하는지 평가하는 것.
• LLM이 집단적 인간 행동을 정확하게 표현해야 하는 에이전트 기반 모델링에 적합한지 평가하는 것.

제안 방법

• 에이전트는 GPT-3.5-turbo를 사용해 생성형 에이전트로 모델링되었으며, 각 에이전트는 소셜 미디어 사용자와 기존 사용자의 정도 정보를 시뮬레이션하는 프롬프트로 초기화되었다.
• 각 타임스텝에서 새로운 에이전트가 생성되고, 기존 사용자의 현재 정도와 사회적 행동에 기반해 m명의 사용자와 연결하기 위해 선택된다.
• 네트워크 성장은 반복적으로 시뮬레이션되며, 각 에이전트의 결정 후 연결이 업데이트되어 최대 N = 2000개의 노드까지 성장하는 네트워크가 형성된다.
• 힘의 법칙 행동을 탐지하기 위해, 정도 분포는 로그-로그 플롯에서 보완적 누적분포함수(CCDF)를 통해 분석되었다.
• 선호적 연결은 누적 연결 확률 Π(k)를 계산하여 정량화하였으며, 이중 성장은 선형 선호적 연결을 확인한다.
• 토큰 사전 편향은 이름 변경 여부에 따라 네트워크를 비교함으로써 조사되었으며, 이는 편향된 단어 생성 패턴을 차단한다.

실험 결과

연구 질문

• RQ1 LLM에 의해 구동되는 생성형 에이전트는 자발적으로 실제 온라인 소셜 네트워크와 유사한 스케일프리 네트워크를 형성할 수 있는가?
• RQ2 LLM 기반 에이전트는 스케일프리 네트워크 형성의 기반이 되는 선형 선호적 연결을 보이는가?
• RQ3 GPT-3.5-turbo의 토큰 사전 분포가 네트워크 구조와 중심성 형성에 미치는 영향은 어떠한가?
• RQ4 에이전트 이름 변경은 정렬 유도 오차를 완화하고 현실적인 네트워크 위상 구조를 복원하는 데 효과적인가?
• RQ5 LLM은 고립된 응답을 넘어서 집단적 상황에서 인간 사회 행동의 전반적인 분포를 어느 정도 재현할 수 있는가?

주요 결과

• GPT-3.5-turbo를 사용한 생성형 에이전트는 힘의 법칙 정도 분포를 보이며 자발적으로 스케일프리 네트워크를 형성한다. 이는 CCDF의 기울기가 α = 1.93 ± 0.12의 힘의 법칙 지수와 일치함으로써 확인된다.
• 누적 연결 확률 Π(k)는 정도 k에 대해 이차함수적 성장을 보이며, 네트워크 형성 과정에서 선형 선호적 연결이 확인된다.
• GPT-3.5-tur보의 편향된 토큰 사전은 극단적인 네트워크 중심화를 유도하여 현실적인 스케일프리 위상 구조를 손상시킨다.
• 에이전트 이름 변경은 토큰 사전 편향을 효과적으로 제거하여, 무작위에서 현실적인 스케일프리 네트워크까지 다양하게 생성할 수 있도록 한다.
• LLM 기반 에이전트가 형성한 네트워크 위상은 실제 세계의 소셜 네트워크와 유사하며, 힘의 법칙 지수 약 -2로, 지프의 법칙과 트위터와 같은 플랫폼에서 관찰된 바와 일치한다.
• LLM은 고립된 인간 유사 응답을 넘어서, 유효한 에이전트 기반 모델링을 위해 필요한 사회적 행동의 전반적 분포를 재현할 수 있다.