[논문 리뷰] Self-Adaptive Large Language Model (LLM)-Based Multiagent Systems

Nathalia Nascimento, Paulo Alencar외 1명|arXiv (Cornell University)|2023. 07. 12.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs), 예를 들어 GPT-4를 MAPE-K 제어 루프에 통합하여 동적 환경에서 자율적인 에이전트가 모니터링, 분석, 계획, 실행을 수행할 수 있도록 하는 자기적응형 다에이전트 시스템(Multiagent System, MAS)을 제안한다. LLM 기반의 통신 기능을 부여함으로써, 진화적 통신 개발이 필요 없이도 에이전트 간의 탄력적 협업과 지능적인 의사결정을 달성하여, MAS에서의 적응성과 표현력이 크게 향상된다.

ABSTRACT

In autonomic computing, self-adaptation has been proposed as a fundamental paradigm to manage the complexity of multiagent systems (MASs). This achieved by extending a system with support to monitor and adapt itself to achieve specific concerns of interest. Communication in these systems is key given that in scenarios involving agent interaction, it enhances cooperation and reduces coordination challenges by enabling direct, clear information exchange. However, improving the expressiveness of the interaction communication with MASs is not without challenges. In this sense, the interplay between self-adaptive systems and effective communication is crucial for future MAS advancements. In this paper, we propose the integration of large language models (LLMs) such as GPT-based technologies into multiagent systems. We anchor our methodology on the MAPE-K model, which is renowned for its robust support in monitoring, analyzing, planning, and executing system adaptations in response to dynamic environments. We also present a practical illustration of the proposed approach, in which we implement and assess a basic MAS-based application. The approach significantly advances the state-of-the-art of self-adaptive systems by proposing a new paradigm for MAS self-adaptation of autonomous systems based on LLM capabilities.

연구 동기 및 목표

• 에이전트 간의 의사소통에 대규모 언어 모델(LLMs)를 통합하여 다에이전트 시스템(MASs)에서의 표현력과 협업 능력이 제한된 문제를 해결하고자 한다.
• LLM 기능이 강화된 MAPE-K 제어 루프를 사용하여 동적 환경에서 자율적인 에이전트가 스스로 적응할 수 있도록 하고자 한다.
• 사전에 LLM이 탑재된 에이전트가 진화적 통신 개발을 생략하고 복잡한 협업 작업을 즉시 수행할 수 있는지 조사하고자 한다.
• 실제 다에이전트 시스템 환경, 예를 들어 동적 마켓플레이스와 같은 사례에서 LLM 통합 에이전트의 실현 가능성과 성능을 평가하고자 한다.
• 향후 방향성으로는 공유되지 않는 LLM 계정, 더 넓은 응용 시나리오, 인간이 개입하는 상호작용을 통한 해석 가능성 향상과 제어 향상을 탐색하고자 한다.

제안 방법

• 시스템은 각 에이전트가 모니터링, 분석, 계획, 실행(MAPE) 작업을 수행하는 MAPE-K 모델 기반으로 구축되며, 내장된 LLM을 핵심 추론 엔진으로 사용한다.
• 각 에이전트는 센서 데이터를 해석하고, 응답을 생성하며, 환경 입력과 다른 에이전트의 통신을 바탕으로 행동을 계획하기 위해 GPT-4를 생성형 AI 구성요소로 활용한다.
• LLM은 자연어 입력(예: 다른 에이전트의 메시지 및 센서 데이터)을 처리하고, 목표 지향적인 구조화된 응답을 생성하여 적응 결정을 안내한다.
• 에이전트 전용 규칙, 목표, 행동 선호도를 저장하고 검색하기 위한 지식 구성요소를 도입하여 장기적인 지속적 적응을 가능하게 한다.
• 에이전트 간의 통신은 자연어 메시지를 통해 이루어지며, 하드코딩된 프로토콜 없이도 고수준의 표현력 있는 협업을 가능하게 한다.
• 테스트베드로 마켓플레이스 시뮬레이션을 사용하여, 에이전트가 동적 시장 조건과 LLM 기반 전략에 따라 책을 자율적으로 사고 팔 수 있도록 한다.

실험 결과

연구 질문

• RQ1 진화적 알고리즘을 통한 통신 프로토콜 진화 없이도 LLM 기반 에이전트가 다에이전트 시스템에서 자기적응을 달성할 수 있는가?
• RQ2 LLM을 MAPE-K 루프에 통합함으로써 동적 환경에서 에이전트 상호작용의 표현력과 협업 능력은 어떻게 향상되는가?
• RQ3 명시적인 협업 메커니즘이 없이도 LLM은 다에이전트 시스템(MASs)에서 어떻게 잠재적 협업 행동을 유도할 수 있는가?
• RQ4 여러 에이전트가 동일한 LLM 인스턴스를 공유하는 것과 개별적으로 고립된 LLM 계정을 사용하는 것 사이의 성능 및 행동적 영향은 어떠한가?
• RQ5 인간이 개입하는 상호작용은 LLM 기반 자기적응형 다에이전트 시스템의 해석 가능성과 제어 가능성은 어떻게 향상시킬 수 있는가?

주요 결과

• LLM을 MAPE-K 루프에 통합함으로써, 시뮬레이션된 서점 마켓플레이스에서 에이전트가 변화하는 시장 조건에 실시간으로 적응하고 의사결정 및 협업을 수행하는 것을 입증하였다.
• GPT-4를 탑재한 에이전트는 사전 정의된 통신 규칙 없이도 가격 협상 및 수요-공급 균형 조절과 같은 잠재적 협업 행동을 나타내었다.
• 공유된 LLM 계정 사용은 상호 에이전트 영향을 유발할 수 있음을 시사하여, 에이전트 행동을 격리하고 정확한 성능 평가를 확보하기 위해 비공유 LLM 인스턴스가 필요하다는 점을 입증하였다.
• 진화적 통신 개발이 필요 없이도 자연어 추론을 통해 초기 단계부터 복잡한 작업을 수행할 수 있도록 시스템이 성공적으로 개선되었다.
• 자연어 설명을 통한 해석 가능한 자기적응이 가능해져, 에이전트 결정의 투명성과 인간의 이해도를 향상시켰다.
• 향후 연구에서는 대화형 인터페이스를 통한 인간-개입 상호작용이 시스템 제어성, 신뢰도, 에이전트 행동의 맞춤화를 향상시킬 수 있음을 시사한다.