[논문 리뷰] Gentopia: A Collaborative Platform for Tool-Augmented LLMs

Binfeng Xu, Xin Liu외 8명|arXiv (Cornell University)|2023. 08. 08.

Topic Modeling인용 수 6

한 줄 요약

Gentopia는 YAML 설정 파일을 사용하여 도구 보강형 언어 모델(알엠)을 구축하기 위한 경량이며 구성 가능한 프레임워크를 소개한다. 이는 영리한 에이전트 커스터마이제이션, 협업, 평가를 가능하게 한다. Gentopia는 공개된 에이전트 공유 및 조합을 위한 플랫폼인 GentPool과, 안전성, 내구성, 효율성, 다국어 능력 등 다양한 측면에서 에이전트 성능을 평가하는 종합적 벤치마크인 GentBench와 통합되어 있다.

ABSTRACT

Augmented Language Models (ALMs) empower large language models with the ability to use tools, transforming them into intelligent agents for real-world interactions. However, most existing frameworks for ALMs, to varying degrees, are deficient in the following critical features: flexible customization, collaborative democratization, and holistic evaluation. We present gentopia, an ALM framework enabling flexible customization of agents through simple configurations, seamlessly integrating various language models, task formats, prompting modules, and plugins into a unified paradigm. Furthermore, we establish gentpool, a public platform enabling the registration and sharing of user-customized agents. Agents registered in gentpool are composable such that they can be assembled together for agent collaboration, advancing the democratization of artificial intelligence. To ensure high-quality agents, gentbench, an integral component of gentpool, is designed to thoroughly evaluate user-customized agents across diverse aspects such as safety, robustness, efficiency, etc. We release gentopia on Github and will continuously move forward.

연구 동기 및 목표

• 기존의 도구 보강형 LLM 프레임워크에서의 영리한 커스터마이제이션, 협업 공유, 종합적 평가의 부족을 해결한다.
• 연구자 및 개발자가 간단한 설정 파일을 사용해 전문적인 에이전트를 쉽게 구축, 튜닝, 공유할 수 있도록 한다.
• 사용자 맞춤형 에이전트를 공개 플랫폼에 등록하고 조합하며 공동으로 개선할 수 있도록 하여 AI의 민주화를 촉진한다.
• 안전성, 내구성, 효율성 등 다양한 차원에서 에이전트 품질을 평가할 수 있는 종합적 벤치마크(GentBench)를 제공한다.
• 오픈소스 협업과 커뮤니티 기반의 도구 및 에이전트 공유를 통해 지속 가능한 에이전트 개발 생태계를 구축한다.

제안 방법

• LLM, 도구, 메모리, 프롬프팅 모듈 등의 사전 구축된 구성 요소에서 에이전트를 정의하고 조립하기 위해 YAML 설정 파일을 사용한다.
• '!prompt', '!tool', '!include', '!file', '!env'와 같은 구성 옵저버(Config Operators)를 통합하여 프롬프트, 플러그인, 하위 에이전트, 파일, 환경 변수의 동적 커스터마이제이션을 가능하게 한다.
• GitHub에 공개된 MIT 라이선스 하에 배포되는 경량이며 확장 가능한 프레임워크로 Gentopia를 구현하여 다양한 LLM과 플러그인과의 통합을 지원한다.
• 사용자가 구축한 에이전트를 등록, 공유, 조합할 수 있는 공개 플랫폼인 GentPool을 구현하여 계층적 에이전트 협업을 가능하게 한다.
• 안전성, 내구성, 효율성, 다국어 지원, 작업 정확도 등 다양한 측면에서 에이전트를 평가할 수 있는 구성 가능한 벤치마크인 GentBench를 개발한다.
• 'assemble.py'와 'evaluate.py'와 같은 스크립트를 통해 CLI 및 GUI 기반의 상호작용 및 평가 워크플로우를 지원하여 테스트 및 벤치마크를 수행할 수 있다.

Figure 1: An overview of \system , encapsulating following pivotal components: 1) Gentopia : a framework principally designed to assemble an agent instance from a YAML configuration file, composed of multiple pre-built agent components such as the LLM, tools, memory, and external agents; 2) GentPool

실험 결과

연구 질문

• RQ1 어떻게 경량이며 설정 기반의 접근 방식을 통해 도구 보강형 LLM을 영리하게 커스터마이제이션하고 조합할 수 있는가?
• RQ2 GentPool과 같은 공개 플랫폼이 전문적인 AI 에이전트의 공동 개발 및 공유를 얼마나 효과적으로 지원할 수 있는가?
• RQ3 통합된 벤치마크(GentBench)가 안전성, 내구성, 효율성과 같은 다양한 차원에서 에이전트 성능을 효과적으로 평가할 수 있는가?
• RQ4 Gentopia의 모듈식 설정 시스템은 작업에 특화된 에이전트의 신속한 프로토타이핑, 튜닝, 배포를 어떻게 지원하는가?
• RQ5 커뮤니티 기반의 에이전트 조합 및 평가는 AI의 민주화를 어떻게 촉진하는가?

주요 결과

• Gentopia는 단일 YAML 설정 파일을 통해 엔드 투 엔드 에이전트 생성을 가능하게 하여 반복적인 코드 작성과 커스터마이제이션의 복잡성을 크게 줄였다.
• GentPool 플랫폼은 사용자 맞춤형 에이전트의 등록, 공유, 계층적 조합을 성공적으로 지원하여 협업 기반의 AI 개발을 촉진했다.
• GentBench는 안전성, 내구성, 효율성, 다국어 능력 등 다양한 측면에서 에이전트를 평가하는 종합적이고 구성 가능한 평가 파이프라인을 제공한다.
• 이 프레임워크는 다양한 LLM, 플러그인, 프롬프팅 전략과의 통합을 지원하여 에이전트 설계 및 배포의 높은 유연성을 확보한다.
• 시스템은 CLI 및 GUI 기반의 평가 워크플로우를 모두 지원하여 연구자 및 실무자 모두가 접근하고 사용하기 쉽게 했다.
• Gentopia, GentPool, GentBench 등 모든 구성 요소는 MIT 라이선스 하에 공개되어 있어 오픈소스 기반의 공동 개발과 장기적인 확장성을 보장한다.

Figure 2: Gentopia agent types, categorized according to the interaction paradigms between agents and plugins.