[논문 리뷰] Generative agent-based modeling with actions grounded in physical, social, or digital space using Concordia

Alexander Sasha Vezhnevets, John Agapiou외 8명|arXiv (Cornell University)|2023. 12. 06.

FinTech, Crowdfunding, Digital Finance인용 수 11

한 줄 요약

논문은 자연어를 통해 에이전트가 행동하고 게임 마스터가 환경을 시뮬레이션하는 Concordia를 소개하며, 물리적, 사회적 또는 디지털 공간에 grounding하고 외부 API와의 통합을 가능케 하는 Generative Agent-Based Models(GABMs) 구축용 라이브러리이다.

ABSTRACT

Agent-based modeling has been around for decades, and applied widely across the social and natural sciences. The scope of this research method is now poised to grow dramatically as it absorbs the new affordances provided by Large Language Models (LLM)s. Generative Agent-Based Models (GABM) are not just classic Agent-Based Models (ABM)s where the agents talk to one another. Rather, GABMs are constructed using an LLM to apply common sense to situations, act "reasonably", recall common semantic knowledge, produce API calls to control digital technologies like apps, and communicate both within the simulation and to researchers viewing it from the outside. Here we present Concordia, a library to facilitate constructing and working with GABMs. Concordia makes it easy to construct language-mediated simulations of physically- or digitally-grounded environments. Concordia agents produce their behavior using a flexible component system which mediates between two fundamental operations: LLM calls and associative memory retrieval. A special agent called the Game Master (GM), which was inspired by tabletop role-playing games, is responsible for simulating the environment where the agents interact. Agents take actions by describing what they want to do in natural language. The GM then translates their actions into appropriate implementations. In a simulated physical world, the GM checks the physical plausibility of agent actions and describes their effects. In digital environments simulating technologies such as apps and services, the GM may handle API calls to integrate with external tools such as general AI assistants (e.g., Bard, ChatGPT), and digital apps (e.g., Calendar, Email, Search, etc.). Concordia was designed to support a wide array of applications both in scientific research and for evaluating performance of real digital services by simulating users and/or generating synthetic data.

연구 동기 및 목표

• Concordia를 생성적 에이전트 기반 모델(GABMs)을 구성하기 위한 유연한 라이브러리로 소개한다.
• LLM 기반 행동 생성과 환경 grounding 사이를 매개하는 모듈식 아키텍처를 설명한다.
• 환경(Game Master)와 에이전트가 자연어 행동과 이벤트-기반 변수로 상호작용하는 방식을 보여준다.
• 과학 및 디지털 서비스 평가를 위한 검증, 해석 및 광범위한 적용에 대해 논의한다.
• GABMs의 일반화 및 타당성 평가를 위한 모범 사례와 향후 방향을 개요한다.

제안 방법

• 에이전트는 자연어로 행동을 생성하며 이는 Game Master(GM)에 의해 grounding된다.
• 행동은 두 단계 프로세스에서 생성된다: (1) 작동 기억/구성요소로부터의 맥락 형성, (2) 장기 기억과 현재 상태를 조건으로 한 샘플링으로 행동을 산출한다.
• GM은 행동을 환경 이벤트로 번역하고 관찰을 방출하며, grounding된 변수와 세계 상태를 유지한다.
• 환경과 에이전트는 모두 생성적이어서 물리적, 디지털 또는 재무 프로세스 모델과의 통합이 가능하다(구성요소(ODEs, FSMs 등).
• 디지털 환경은 API 호출이나 모의 표현을 통해 외부 앱과 서비스와 인터페이스할 수 있다.
• 기억 아키텍처는 연상 기억과 구성요소 기반 맥락을 사용하여 LLM 프롬프트를 조건화하는, '마음의 사회(society of mind)'에 비유되는.

Figure 1: The high level structure of the simulation in Concordia. Generative agents consume observations and produce actions. The Game Master (GM) consumes agent actions and produces observations.

실험 결과

연구 질문

• RQ1 생성적 에이전트 기반 모델이 자연어와 LLM을 사용하여 물리적, 사회적 또는 디지털 공간에서의 행동을 현실적으로 grounding할 수 있는가?
• RQ2 일관된 에이전트 행동과 강건한 환경 상호작용을 가능하게 하는 어떤 구성요소(기억, 계획, 지각, grounding 변수)들이 있는가?
• RQ3 Game Master가 환경을 효과적으로 시뮬레이션하고 에이전트와 행동 전반에 걸쳐 grounding 변수를 관리하는 방법은 무엇인가?
• RQ4 현실 세계 맥락에 대한 GABMs의 일반화를 지지하는 최선의 실천 및 검증 전략은 무엇인가?

주요 결과

• Concordia는 자연어 행동과 환경 기반 결과를 가진 GABMs의 유연한 구성을 가능하게 한다.
• 에이전트는 모듈식 구성요소와 연상 기억을 사용하여 LLM 프롬프트를 조건화하고 일관된 행동을 산출한다.
• GM은 세계 상태, grounding 변수, 이벤트 및 관찰을 관리하여 선거에서 디지털 앱 상호작용에 이르는 다양한 시뮬레이션을 가능하게 한다.
• 디지털 환경은 API를 통해 실제 앱 및 서비스와의 통합을 허용하여 합성 데이터 생성 및 서비스 평가를 지원한다.
• 프레임워크는 일반화, 알고리즘적 충실도, 모델 비교, 강건성 및 GABMs에 대한 인식론적 규범을 포함한 검증 전략에 대해 논한다.

Figure 2: The above example illustrates the working memory $\mathbf{z}$ of an agent with 3 components (identity, plan, observation-and-clock). The identity component itself has several sub-components (core characteristics, daily occupation, feeling about progress in life). Together they condition th