[論文レビュー] Gentopia: A Collaborative Platform for Tool-Augmented LLMs

Binfeng Xu, Xin Liu+8 more|arXiv (Cornell University)|Aug 8, 2023

Topic Modeling被引用数 6

ひとこと要約

Gentopiaは、YAML設定ファイルを用いて、軽量でカスタム可能なフレームワークを提供し、ツール拡張型言語モデル（ALMs）の構築を可能にする。これにより、柔軟なエージェントカスタマイズ、協働開発、評価が可能となる。GentPool（エージェントの共有・組み合わせを可能にする公開プラットフォーム）およびGentBench（安全性、耐障害性、効率性、多言語対応能力を含む、複数の次元でエージェントのパフォーマンスを評価する包括的ベンチマーク）と統合されている。

ABSTRACT

Augmented Language Models (ALMs) empower large language models with the ability to use tools, transforming them into intelligent agents for real-world interactions. However, most existing frameworks for ALMs, to varying degrees, are deficient in the following critical features: flexible customization, collaborative democratization, and holistic evaluation. We present gentopia, an ALM framework enabling flexible customization of agents through simple configurations, seamlessly integrating various language models, task formats, prompting modules, and plugins into a unified paradigm. Furthermore, we establish gentpool, a public platform enabling the registration and sharing of user-customized agents. Agents registered in gentpool are composable such that they can be assembled together for agent collaboration, advancing the democratization of artificial intelligence. To ensure high-quality agents, gentbench, an integral component of gentpool, is designed to thoroughly evaluate user-customized agents across diverse aspects such as safety, robustness, efficiency, etc. We release gentopia on Github and will continuously move forward.

研究の動機と目的

• 既存のツール拡張型LLMフレームワークにおける柔軟なカスタマイズ、協働的共有、包括的評価の不足に対処すること。
• 研究者や開発者がシンプルな設定ファイルを用いて、専用エージェントを簡単に構築・チューニング・共有できるようにすること。
• ユーザーがカスタムしたエージェントを公開プラットフォームに登録・組み合わせ・共同で強化できる仕組みを提供することで、AIの民主化を促進すること。
• 安全性、耐障害性、効率性など複数の次元でエージェントの品質を評価できる包括的ベンチマーク（GentBench）を提供すること。
• オープンソース協働とコミュニティ主導のツール・エージェント共有を通じて、エージェント開発の持続可能なエコシステムを構築すること。

提案手法

• LLM、ツール、メモリ、プロンプティングモジュールなどの事前構築済みコンポーネントからエージェントを定義・構成するYAML設定ファイルを用いる。
• プロンプト、プラグイン、サブエージェント、ファイル、環境変数の動的カスタマイズを可能にする、'!prompt'、'!tool'、'!include'、'!file'、'!env'といったコンフィグオペレータを統合する。
• GitHub上にホスティングされた、MITライセンス下での軽量で拡張可能なフレームワークとしてGentopiaをデプロイし、多様なLLMおよびプラグインとの統合をサポートする。
• ユーザーが自作したエージェントを登録・共有・組み合わせられる公開プラットフォームとしてGentPoolを実装し、階層的エージェント協働を可能にする。
• 安全性、耐障害性、効率性、多言語対応、タスクの正確性を含む、複数の次元でエージェントを評価する、設定可能なベンチマークとしてGentBenchを開発する。
• 'assemble.py'や'evaluate.py'といったスクリプトを通じて、CLIおよびGUIベースのインタラクションおよび評価ワークフローをサポートする。

Figure 1: An overview of \system , encapsulating following pivotal components: 1) Gentopia : a framework principally designed to assemble an agent instance from a YAML configuration file, composed of multiple pre-built agent components such as the LLM, tools, memory, and external agents; 2) GentPool

実験結果

リサーチクエスチョン

• RQ1 ツール拡張型LLMは、軽量で設定駆動のアプローチを用いて、どのように柔軟にカスタマイズ・組み合わせられるか？
• RQ2 GentPoolのような公開プラットフォームは、専用AIエージェントの協働的開発と共有をどの程度促進できるか？
• RQ3 統合されたベンチマーク（GentBench）は、安全性、耐障害性、効率性といった多様な次元でエージェントパフォーマンスを効果的に評価できるか？
• RQ4 Gentopiaのモジュール型設定システムは、タスク固有エージェントの迅速なプロトタイピング、チューニング、デプロイをどのように支援するか？
• RQ5 コミュニティ主導のエージェントの組み合わせと評価は、AIの民主化を進める上でどのような役割を果たすか？

主な発見

• Gentopiaは、1つのYAML設定ファイルでエンドツーエンドのエージェント作成を可能にし、ボイラープレートの削減とカスタマイズの簡素化を実現した。
• GentPoolプラットフォームは、ユーザーがカスタムしたエージェントの登録、共有、階層的組み合わせを効果的にサポートし、協働的AI開発を促進した。
• GentBenchは、安全性、耐障害性、効率性、多言語対応能力を含む包括的で設定可能な評価パイプラインを提供し、エージェントの性能を多角的に評価可能にした。
• フレームワークは、多様なLLM、プラグイン、プロンプティング戦略との統合をサポートしており、エージェント設計およびデプロイの高さの柔軟性を実現した。
• システムはCLIおよびGUIベースの評価ワークフローをサポートしており、研究者や実務家によるアクセス性と使いやすさを向上させた。
• Gentopia、GentPool、GentBenchのすべてのコンponentsはMITライセンスでリリースされており、オープンでコミュニティ主導の開発と長期的な拡張性を保証している。

Figure 2: Gentopia agent types, categorized according to the interaction paradigms between agents and plugins.