[논문 리뷰] ProAgent: Building Proactive Cooperative Agents with Large Language Models

Ceyao Zhang, Kaijie Yang외 13명|arXiv (Cornell University)|2023. 08. 22.

Topic ModelingComputer Science인용 수 3

한 줄 요약

ProAgent는 대규모 언어 모델(LLM) 기반 프레임워크로, 팀원의 의도를 추론하고 계획을 검증하며 신뢰도를 수정함으로써 실시간으로 행동을 동적으로 조정할 수 있는 능동적이고 협력적인 에이전트를 가능하게 한다. ProAgent는 인간 프록시 모델과의 제로샷 협업에서 최신 기술 대비 10퍼센트 이상 성능을 뛰어넘으며, Overcooked-AI 환경에서 다양한 다중 에이전트 시나리오에서 뛰어난 성능을 달성한다.

ABSTRACT

Building agents with adaptive behavior in cooperative tasks stands as a paramount goal in the realm of multi-agent systems. Current approaches to developing cooperative agents rely primarily on learning-based methods, whose policy generalization depends heavily on the diversity of teammates they interact with during the training phase. Such reliance, however, constrains the agents' capacity for strategic adaptation when cooperating with unfamiliar teammates, which becomes a significant challenge in zero-shot coordination scenarios. To address this challenge, we propose ProAgent, a novel framework that harnesses large language models (LLMs) to create proactive agents capable of dynamically adapting their behavior to enhance cooperation with teammates. ProAgent can analyze the present state, and infer the intentions of teammates from observations. It then updates its beliefs in alignment with the teammates' subsequent actual behaviors. Moreover, ProAgent exhibits a high degree of modularity and interpretability, making it easily integrated into various of coordination scenarios. Experimental evaluations conducted within the Overcooked-AI environment unveil the remarkable performance superiority of ProAgent, outperforming five methods based on self-play and population-based training when cooperating with AI agents. Furthermore, in partnered with human proxy models, its performance exhibits an average improvement exceeding 10% compared to the current state-of-the-art method. For more information about our project, please visit~\url{https://pku-proagent.github.io}.

연구 동기 및 목표

• 현재 학습 기반 협력 에이전트가 다양한 훈련 팀원에 의존함으로써 제로샷 협업에서 어려움을 겪는 한계를 해결하기 위해.
• LLM 기반 에이전트가 사전 미세조정 없이도 실시간으로 팀원의 의도를 능동적으로 추론하고 행동을 조정할 수 있도록 하기 위해.
• 명시적인 추론, 계획 수립 및 신뢰도 수정 메커니즘을 통해 다중 에이전트 시스템의 협업 강건성과 해석 가능성 향상을 위해.
• 복잡한 협업 환경에서 다양한 AI 팀원과 인간 프록시 모델에 대한 일반화 능력을 평가하기 위해.

제안 방법

• ProAgent는 자연어 기반 추론과 계획 수립을 가능하게 하기 위해 플래너, 검증기, 컨트롤러, 메모리 모듈로 구성된 모듈러 파이프라인을 사용한다.
• 플래너는 관찰 결과에서 팀원의 의도를 추론하고, 과거 상호작용 기록을 반영한 맥락 인식 추론을 통해 고수준 기술을 생성한다.
• 신뢰도 보정 메커니즘은 예측된 행동과 실제 팀원의 행동을 비교하여 에이전트의 의도 모델을 업데이트한다.
• 검증기는 사전 조건을 점검함으로써 계획의 타당성을 검증하고, 계획 실패 시 피드백을 제공함으로써 재계획 수립을 가능하게 한다.
• 컨트롤러는 유효한 고수준 기술을 실행 가능한 저수준 행동으로 분해하며, 차단된 경로와 같은 환경 변화에 동적으로 대응한다.
• 전체 시스템은 폐쇄형 의사결정 프로세스를 운영하여 실시간 적응 및 계획 실패 복구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트가 사전 미세조정 없이 제로샷 협업에서 팀원의 의도를 능동적으로 추론하고 행동을 조정할 수 있는가?
• RQ2 검증기 모듈이 동적 환경에서 계획 실패를 탐지하고 복구하는 데 얼마나 효과적인가?
• RQ3 분석 및 신뢰도 메커니즘을 통합할 경우 협업 작업에서 계획 정확도와 성능 향상에 어느 정도 기여하는가?
• RQ4 ProAgent는 복잡한 협업 환경에서 다양한 AI 팀원과 인간 프록시 모델에 대해 얼마나 잘 일반화되는가?

주요 결과

• ProAgent는 Overcooked-AI 환경에서 인간 프록시 모델과 협업할 때 최신 기술 대비 평균 10퍼센트 이상의 성능 향상을 달성했다.
• 좁은 방 레이아웃에서 ProAgent는 분석과 신뢰도 기능을 모두 사용했을 때 204점을 기록했으며, 신뢰도 기능 없이 184점, 분석 및 신뢰도 기능 없이 100점이었다.
• 검증기 모듈을 제거하면 100단계 동안 계획 성공률가 20퍼센트로 떨어졌으며, 이는 피드백 기반 추론과 장애 복구에서 검증기의 핵심적 역할을 입증한다.
• ProAgent는 차단된 경로를 회피하기 위해 동적으로 대체 경로로 루트를 재설정함으로써 실시간 적응형 동작 계획 능력을 입증했다.
• ProAgent는 비대칭 레이아웃에서도 일관된 성능을 보였으며, 시작 위치의 차이에 거의 영향을 받지 않았다. 반면 기준 모델은 상당한 성능 격차를 보였다.
• 자연어 기반 추론을 통해 높은 해석 가능성과 투명성 있는 인간우선 의사결정 과정을 제공함으로써, 티어드라이브의 높은 해석 가능성과 투명성을 입증했다.