[논문 리뷰] MetaAgents: Large Language Model Based Agents for Decision-Making on Teaming

Yuan Li, Lichao Sun외 1명|arXiv (Cornell University)|2023. 10. 10.

Topic Modeling인용 수 18

한 줄 요약

본 논문은 LLM 기반 에이전트가 협업하고 조정하며 직업 박람회 시뮬레이션에서 팀 기반 문제를 해결하기 위한 워크플로를 형성하도록 하는 다중 모듈 프레임워크인 MetaAgents를 소개한다.

ABSTRACT

Significant advancements have occurred in the application of Large Language Models (LLMs) for social simulations. Despite this, their abilities to perform teaming in task-oriented social events are underexplored. Such capabilities are crucial if LLMs are to effectively mimic human-like social behaviors and form efficient teams to solve tasks. To bridge this gap, we introduce MetaAgents, a social simulation framework populated with LLM-based agents. MetaAgents facilitates agent engagement in conversations and a series of decision making within social contexts, serving as an appropriate platform for investigating interactions and interpersonal decision-making of agents. In particular, we construct a job fair environment as a case study to scrutinize the team assembly and skill-matching behaviors of LLM-based agents. We take advantage of both quantitative metrics evaluation and qualitative text analysis to assess their teaming abilities at the job fair. Our evaluation demonstrates that LLM-based agents perform competently in making rational decisions to develop efficient teams. However, we also identify limitations that hinder their effectiveness in more complex team assembly tasks. Our work provides valuable insights into the role and evolution of LLMs in task-oriented social simulations.

연구 동기 및 목표

• 협업이 가능한 LLM 기반 에이전트의 필요성을 Task-oriented 사회적 설정에서 제시한다.
• 협동적 행동을 가능하게 하는 다중 모듈 프레임워크(지각, 기억, 추론, 실행)를 제안한다.
• 협력적 생성 에이전트가 시뮬레이션된 직업 박람회에서 응집력 있는 팀을 형성하고 역할을 배정하며 워크플로를 설계할 수 있는지 평가한다.
• 참여 에이전트 수가 증가함에 따른 조정의 한계와 과제을 검토한다.

제안 방법

• 협업 생성 에이전트를 위한 4-모듈 아키텍처(지각, 기억, 추론, 실행)를 도입한다.
• 대화에서 주요 주제와 하이라이트된 용어를 보존하는 기억 메커니즘을 구현하여 견고한 기억 검색을 지원한다.
• 계획 생성, 반성, 목표 업데이트를 포함한 추론 모듈을 사용하여 조정된 행동을 안내한다.
• 에이전트가 능력에 따라 행동을 수행할 수 있도록 기능 풀(funktion pool)을 갖춘 실행 모듈을 제공한다.
• 정보 처리, 채용, 워크플로 설계를 연구하기 위해 채용-직업 박람회 스타일의 시뮬레이션을 배치한다.

Figure 1: MetaAgents : Collaborative generative agents exhibit human-like behaviors and capabilities in task-solving. In this work, we situate collaborative generative agents in a job fair context recruiting capable agents for team projects. This job fair context enables collaborative generative age

실험 결과

연구 질문

• RQ1 협업 생성 에이전트가 직업 박람회 시뮬레이션에서 응집력 있는 팀을 구성하고 과제를 완료할 수 있는가?
• RQ2 에이전트가 개인 전문 지식을 활용하여 팀 프로젝트를 위한 워크플로우를 동적으로 생성할 수 있는가?
• RQ3 참여 에이전트 수가 증가함에 따라 주요 조정 도전과제는 무엇인가?
• RQ4 추론 모듈이 작업 지향적 조정의 성능에 어떤 영향을 미치는가?

주요 결과

• 에이전트는 팀 워크플로우를 이해하고 대화에서 파생된 정보를 활용하여 협력자를 식별하고 과업을 위임하는 데 능숙함을 보여준다.
• 에이전트 수가 많아질수록 LLM의 목표나 의도가 맞지 않아 조정 성능이 저하된다.
• 추론 모듈은 에이전트 간 작업 지향적 조정을 개선하는 데 중요한 역할을 한다.
• 프레임워크는 직업 박람회 시나리오에서 표준 개발 프로세스(예: 폭포수 모델)에 맞춘 팀 워크플로를 형성할 수 있음을 보인다.

Figure 2: The interactions between recruiting agents and job-seeking agents are shaped by a mutual selection procedure.