[논문 리뷰] Generative Agent-Based Modeling: Unveiling Social System Dynamics through Coupling Mechanistic Models with Generative Artificial Intelligence

Navid Ghaffarzadegan, Aritra Majumdar외 2명|arXiv (Cornell University)|2023. 09. 20.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(예: ChatGPT)을 기계적 에이전트 기반 모델과 통합하여 사회 시스템에서 인간의 의사결정을 시뮬레이션할 수 있는 새로운 프레임워크인 생성형 에이전트 기반 모델(GABMs)을 소개한다. 사전 훈련된 LLM을 사회 규범 확산의 구조적 모델과 결합함으로써, 추론 기반의 현실적인 에이전트 행동을 가능하게 하며, 프롬프트 변형에 민감하게 반응하고, 생성형 AI를 활용한 복잡한 사회 역학을 확장 가능하고 해석 가능한 방식으로 모델링할 수 있다.

ABSTRACT

We discuss the emerging new opportunity for building feedback-rich computational models of social systems using generative artificial intelligence. Referred to as Generative Agent-Based Models (GABMs), such individual-level models utilize large language models such as ChatGPT to represent human decision-making in social settings. We provide a GABM case in which human behavior can be incorporated in simulation models by coupling a mechanistic model of human interactions with a pre-trained large language model. This is achieved by introducing a simple GABM of social norm diffusion in an organization. For educational purposes, the model is intentionally kept simple. We examine a wide range of scenarios and the sensitivity of the results to several changes in the prompt. We hope the article and the model serve as a guide for building useful diffusion models that include realistic human reasoning and decision-making.

연구 동기 및 목표

• 생성형 AI를 통해 인간 같은 추론을 구현하는 새로운 종류의 에이전트 기반 모델을 개발하는 것.
• 대규모 언어 모델이 사회 상호작용의 기계적 모델에 체계적으로 통합될 수 있는 방법을 탐색하는 것.
• 조직 내 사회 규범 확산의 단순화된 사례 연구를 통해 이러한 모델의 실현 가능성과 민감도를 입증하는 것.
• 연구자들이 생성형 AI를 활용해 현실적인 확산 모델을 구축하고 校정할 수 있도록 실용적이고 교육적인 프레임워크를 제공하는 것.
• 프롬프트 엔지니어링이 사회 시뮬레이션 환경에서 모델 행동과 결과 민감도에 미치는 영향을 평가하는 것.

제안 방법

• 저자들은 조직 환경에서의 사회 규범 확산을 위한 최소한의 에이전트 기반 모델을 설계하였으며, 상호작용 규칙을 정의하기 위해 기계적 프레임워크를 사용하였다.
• 각 에이전트의 의사결정은 프롬프트 기반의 대규모 언어 모델(예: GPT-3.5)을 통해 모델링되며, 동료 행동과 규범 강도와 같은 맥락적 신호에 기반해 행동을 생성한다.
• LLM은 동료의 행동과 규범 강도에 따라 규범을 수용할지 거부할지에 대해 추론하도록 프롬프트가 주어지며, 그 응답을 바탕으로 시뮬레이션 내 에이전트 상태를 갱신한다.
• 모델은 다양한 시나리오에서 실행되며, 프롬프트 변형을 체계적으로 변경하여 행동 민감도를 평가한다.
• 시뮬레이션 출력은 수렴성, 수용률, 입력 프롬프트에 대한 민감도를 분석하여 정성적 및 정량적 지표를 사용한다.
• 모듈러하고 확장 가능한 설계로 구현되어 향후 실제 조직 데이터와의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 어떻게 효과적으로 기계적 에이전트 기반 모델과 결합하여 사회 시스템에서 인간의 의사결정을 시뮬레이션할 수 있는가?
• RQ2 프롬프트 설계의 변형이 사회 규범 확산 모델의 탄생 행동과 수용 역학에 얼마나 영향을 미치는가?
• RQ3 생성형 AI는 구조화된 시뮬레이션 환경 내에서 일관되고 해석 가능하며 행동적으로 타당한 에이전트 응답을 생성할 수 있는가?
• RQ4 LLM의 통합이 에이전트 기반 모델의 결과 민감도와 강건성에 어떻게 영향을 미치는가?
• RQ5 조직적 맥락에서 사회 시스템 역학을 모델링할 때 생성형 모델의 실용적 영향은 무엇인가?

주요 결과

• GABM 프레임워크는 규범 수용 결정에서 인간의 추론 패턴을 반영하는 행동적으로 타당한 에이전트 응답을 성공적으로 생성하였다.
• 모델은 프롬프트 설계에 매우 민감하게 반응하며, 어조나 어순의 변화가 시뮬레이션 실행 간 수용률과 수렴 시간에 영향을 미쳤다.
• 간단한 모델임에도 불구하고, 정점(티핑 포인트)과 동료 영향 효과를 포함한 핵심적인 규범 확산 역학을 포착하였다.
• LLM 통합 덕분에 기존의 규칙 기반 에이전트보다 더 풍부하고 맥락 인식 기반의 의사결정이 가능해져 현실성 향상에 기여하였다.
• 프롬프트 변형을 통한 체계적 민감도 분석이 가능해져 모델 校정 및 검증을 위한 새로운 길을 열었다.
• 이 모델은 더 복잡한 AI 보강 사회 시뮬레이션을 구축하기 위한 실용적이고 교육적인 도구로 유용하다.