[논문 리뷰] S$^3$: Social-network Simulation System with Large Language Model-Empowered Agents

Chen Gao, Xiaochong Lan외 6명|arXiv (Cornell University)|2023. 07. 27.

Topic Modeling인용 수 6

한 줄 요약

S$^3$는 대규모 언어 모델(Large Language Model, LLM) 기반 에이전트를 활용해 사회 네트워크에서 인간과 유사한 감정, 태도, 상호작용 행동을 시뮬레이션하는 사회 네트워크 시뮬레이션 시스템을 소개한다. 미세조정된 LLM과 프롬프트 엔지니어링, 사용자 인구통계 추론을 결합함으로써, 실제 데이터 기반으로 정보, 태도, 감정 전파와 같은 현실적인 인구 수준의 역학을 유망한 정확도로 재현한다.

ABSTRACT

Social network simulation plays a crucial role in addressing various challenges within social science. It offers extensive applications such as state prediction, phenomena explanation, and policy-making support, among others. In this work, we harness the formidable human-like capabilities exhibited by large language models (LLMs) in sensing, reasoning, and behaving, and utilize these qualities to construct the S$^3$ system (short for $ extbf{S}$ocial network $ extbf{S}$imulation $ extbf{S}$ystem). Adhering to the widely employed agent-based simulation paradigm, we employ prompt engineering and prompt tuning techniques to ensure that the agent's behavior closely emulates that of a genuine human within the social network. Specifically, we simulate three pivotal aspects: emotion, attitude, and interaction behaviors. By endowing the agent in the system with the ability to perceive the informational environment and emulate human actions, we observe the emergence of population-level phenomena, including the propagation of information, attitudes, and emotions. We conduct an evaluation encompassing two levels of simulation, employing real-world social network data. Encouragingly, the results demonstrate promising accuracy. This work represents an initial step in the realm of social network simulation empowered by LLM-based agents. We anticipate that our endeavors will serve as a source of inspiration for the development of simulation systems within, but not limited to, social science.

연구 동기 및 목표

• LLM을 활용해 인간과 유사한 행동을 재현하는 새로운 에이전트 기반 사회 네트워크 시뮬레이션 시스템을 개발하는 것.
• 기존 시뮬레이션의 한계를 보완하기 위해 LLM을 통합해 개인 수준의 인지, 추론, 행동 생성 능력을 향상시키는 것.
• 실제 사회 네트워크 환경에서 정보, 태도, 감정 전파와 같은 인구 수준의 현상에 대해 정확한 시뮬레이션을 가능하게 하는 것.
• 제어 가능하고 해석 가능하며 현실적인 시뮬레이션 환경을 제공함으로써 정책 수립 및 사회 과학 연구를 지원하는 것.
• 향후 대규모 사회 시뮬레이션에서 에이전트 기반 모델링과 시스템 동역학 모델링을 통합할 기반을 마련하는 것.

제안 방법

• 시스템은 실제 사회 네트워크 데이터를 기반으로 시뮬레이션 환경을 구성하며, 프롬프트 기반 추론 모듈을 통해 프롬프트 엔지니어링과 프롬프트 튜닝을 융합한 방식으로 사용자 인구통계를 통합한다.
• LLM 기반 에이전트가 맥락적 신호와 이력 콘텐츠를 기반으로 콘텐츠 공유, 생성, 무반응 등의 개인 행동을 시뮬레이션한다.
• 감정, 태도, 상호작용 행동은 인구통계 및 이력 데이터를 통합한 기억 고려형 프롬프트 엔지니어링을 적용한 미세조정된 LLM을 사용해 모델링한다.
• 시뮬레이션은 하이브리드 접근 방식을 채택한다: 개인 수준의 에이전트 행동은 LLM 추론에 의해 기인하고, 인구 수준의 역학은 이러한 행동의 집계에 의해 발생한다.
• 평가에서는 성별 차별과 원자력 에너지 두 가지 실제 사례를 활용하여 시스템이 현실적인 사회 역학을 얼마나 잘 재현하는지 평가한다.
• 시스템 아키텍처는 전용 인터페이스를 통해 정책 간섭을 지원하며, 정책 시나리오의 제어된 테스트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 사회 네트워크 상호작용에서 인간과 유사한 감정적·태도적 반응을 현실적으로 시뮬레이션할 수 있는가?
• RQ2 LLM 기반 에이전트는 실제 사회 네트워크 데이터에서 정보, 태도, 감정의 전파를 어느 정도 정확하게 재현할 수 있는가?
• RQ3 인구통계 및 이력 콘텐츠 데이터는 LLM 기반 에이전트에 얼마나 효과적으로 통합되어 시뮬레이션의 행동 진실성을 향상시킬 수 있는가?
• RQ4 에이전트 기반 모델링과 시스템 동역학 모델링의 통합은 사회 네트워크 시뮬레이션의 종합성과 정확도를 향상시킬 수 있는가?
• RQ5 LLM 기반 시뮬레이션 프레임워크 내에서 정책 간섭은 어떻게 효과적으로 모델링하고 평가할 수 있는가?

주요 결과

• S$^3$ 시스템은 실제 데이터 기반으로 사회 네트워크에서 정보, 태도, 감정의 전파 패턴을 현실적으로 시뮬레이션하며 높은 정확도를 입증했다.
• 프롬프트 엔지니어링과 튜닝을 통한 인구통계 추론 통합은 시뮬레이션 내 에이전트 행동의 진실성에 상당한 기여를 하였다.
• LLM 기반 에이전트는 인간과 유사한 추론 능력과 기억 활용 능력을 보이며, 맥락 인식 반응과 시간에 따른 행동 적응이 가능했다.
• 성별 차별과 원자력 에너지 주제에 대한 시뮬레이션은 시스템이 극단화와 태도 변화와 같은 복잡한 사회 역학을 재현할 수 있음을 보여주었다.
• 전용 인터페이스를 통해 정책 간섭 테스트가 가능하여 제어된 환경에서 정책 결과의 증거 기반 평가를 수행할 수 있었다.
• 병렬 및 분산 컴퓨팅을 포함한 아키텍처 최적화를 통해 성능 향상이 가능하며, 이를 통해 시뮬레이션의 효율적 확장이 가능하다.