[論文レビュー] AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

Qingyun Wu|arXiv (Cornell University)|Aug 16, 2023

Multi-Agent Systems and Negotiation被引用数 144

ひとこと要約

AutoGenは、カスタマイズ可能で対話可能なエージェントを通じてマルチエージェントの会話で協力することで、LLMアプリケーションを構築するための汎用的でオープンソースのフレームワークを提示します。これにより、さまざまなパターンとツール/人間の統合が可能になります。

ABSTRACT

AutoGen is an open-source framework that allows developers to build LLM applications via multiple agents that can converse with each other to accomplish tasks. AutoGen agents are customizable, conversable, and can operate in various modes that employ combinations of LLMs, human inputs, and tools. Using AutoGen, developers can also flexibly define agent interaction behaviors. Both natural language and computer code can be used to program flexible conversation patterns for different applications. AutoGen serves as a generic infrastructure to build diverse applications of various complexities and LLM capacities. Empirical studies demonstrate the effectiveness of the framework in many example applications, with domains ranging from mathematics, coding, question answering, operations research, online decision-making, entertainment, etc.

研究の動機と目的

• マルチエージェントの協調を通じて、LLMアプリケーションのスケーラブルな開発を動機づけ、実現する。
• 対話可能なエージェントと、複雑なワークフローを単純化する会話中心のプログラミングパラダイムを定義する。
• さまざまな分野のアプリケーションに対応する、組み込みエージェントと柔軟な制御パターンを提供する。
• パフォーマンスと開発効率の向上を示す実践的なアプリケーションをデモンストレーションする。

提案手法

• LLMs、人間、ツールを組み合わせてモジュール型の協調を実現する対話可能なエージェントを導入する。
• 計算と会話主導の制御フローを結びつける統一パラダイムとして、会話プログラミングを提示する。
• 自動応答機構を備えた統一エージェントインタフェースを説明し、自律的なマルチエージェント対話を可能にする。
• 自然言語プロンプトとPythonコードの両方で制御を表現でき、モード間の遷移を可能にする。
• 組み込みエージェントとパターンのセットを紹介し、動的なグループチャットのためのGroupChatManagerも紹介する。

Figure 1 : AutoGen enables diverse LLM-based applications using multi-agent conversations. (Left) AutoGen agents are conversable, customizable, and can be based on LLMs, tools, humans, or even a combination of them. (Top-middle) Agents can converse to solve tasks. (Right) They can form a chat, poten

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントLLMシステムで効果的に協働する、再利用可能でカスタマイズ可能なエージェントをどのように設計するか？
• RQ2 統一されたインターフェースとプログラミングパラダイムは、さまざまなエージェント対話パターンをどうサポートできるか？
• RQ3 数理計算、QA、コード生成、意思決定などのタスクで、マルチエージェント対話フレームワークは高い性能と開発効率を達成できるか？

主な発見

• AutoGenは、数学問題解決、QA、コーディングのシナリオにおいて、ベースラインと比較して競争力のあるまたは優れた性能を示します。
• 動的なマルチエージェント会話パターンは開発労力を削減し、人間をループに組み込んだ柔軟なツール利用を可能にします。
• グラウンディングとモジュラーエージェントの役割（例：グラウンディングエージェント、セーフガード）は、意思決定とコード生成タスクの堅牢性を向上させます。
• このフレームワークは動的なグループチャットと、静的な往復の交換を超えるより豊かな相互作用パターンをサポートします。
• 実験は、コード行数の削減や開発サイクルの短縮など、顕著な生産性向上を示しています。

Figure 2 : Illustration of how to use AutoGen to program a multi-agent conversation. The top sub-figure illustrates the built-in agents provided by AutoGen , which have unified conversation interfaces and can be customized. The middle sub-figure shows an example of using AutoGen to develop a two-age