[論文レビュー] BMW Agents -- A Framework For Task Automation Through Multi-Agent Collaboration

N Crawford, Edward Duffy+6 more|arXiv (Cornell University)|Jun 28, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

BMW Agentsは、大規模言語モデル（LLMs）を用いた産業用タスク自動化のためのスケーラブルでモジュラーなマルチエージェントフレームワークを提示する。構造的計画、ツール統合、エピソード記憶を通じて、協働ワークフローを可能にする。再利用可能なエージェントユニット、人間によるフィードバック、再起動可能な実行を支援することで、多様なエンタープライズワークロードにおいて堅牢で生産準備完了の自動化を実現する。

ABSTRACT

Autonomous agents driven by Large Language Models (LLMs) offer enormous potential for automation. Early proof of this technology can be found in various demonstrations of agents solving complex tasks, interacting with external systems to augment their knowledge, and triggering actions. In particular, workflows involving multiple agents solving complex tasks in a collaborative fashion exemplify their capacity to operate in less strict and less well-defined environments. Thus, a multi-agent approach has great potential for serving as a backbone in many industrial applications, ranging from complex knowledge retrieval systems to next generation robotic process automation. Given the reasoning abilities within the current generation of LLMs, complex processes require a multi-step approach that includes a plan of well-defined and modular tasks. Depending on the level of complexity, these tasks can be executed either by a single agent or a group of agents. In this work, we focus on designing a flexible agent engineering framework with careful attention to planning and execution, capable of handling complex use case applications across various domains. The proposed framework provides reliability in industrial applications and presents techniques to ensure a scalable, flexible, and collaborative workflow for multiple autonomous agents working together towards solving tasks.

研究の動機と目的

• 産業用自動化における単一エージェントLLMの限界を克服し、協働的でマルチエージェントのタスク実行を可能にする。
• 既存のITエコシステム（レガシーシステムを含む）と統合可能な柔軟で拡張可能なフレームワークを設計する。
• 構造的計画、ツールの使用、エラー回復メカニズムを通じて、AI駆動のワークフローの信頼性とスケーラビリティを向上させる。
• 人間のフィードバックとエピソード記憶を組み込むことで、学習の向上と状態保持型タスク実行を実現する。
• エピソード記憶と再起動可能なモジュラーで監査可能なワークフローをサポートすることで、生産グレードの自動化を実現する。

提案手法

• フレームワークは、専門的な役割とツールを備えたエージェント（例：プランナー、コーダー、テスト担当、レビュアー）から成るモジュラーなエージェントユニットを採用する。
• 動的タスク割り当てを実現するため、意味的マッチングとメンションベースのメッセージルーティングを組み合わせたハイブリッドエージェント選択戦略を用いる。
• 会話型計画・推論・実行（ConvPlanReAct）プロンプティング戦略により、エージェント間で構造的で複数ターンの対話を可能にする。
• 各ステップで入力/出力の暗黙的スキーマを用いてツールを精錬することで、正確かつ信頼性の高い関数呼び出しを保証する。
• エピソード記憶は過去のタスク結果を保存・取得し、文脈に応じた推論と計画間での再利用を可能にする。
• 意図的かつ偶然的な人間のフィードバックをサポートし、最後の有効な状態から再開できる再起動機能を備える。

Figure 1: Generic agent workflow starting with user input and ending with providing workflow output. Agent Workflow highlights major components and levels of the workflow with (1) Planning, (2) Execution, and (3) Verification done by dedicated agents.

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント協働は、産業現場におけるLLMベースのタスク自動化の信頼性とスケーラビリティをどのように向上させるか？
• RQ2 AIエージェントを既存のエンタープライズITエコシステムにシームレスに統合するためのアーキテクチャパターンは何か？
• RQ3 エピソード記憶と構造的プロンプティングは、エージェントの推論力とタスクの継続性をどのように向上させるか？
• RQ4 複雑で多段階のワークフローにおいて、信頼性の高いツール使用とエラー回復を保証するメカニズムは何か？
• RQ5 人間のフィードバックは、自律的エージェントワークフローにどのように効果的に統合され、出力品質を向上させるか？

主な発見

• エピソード記憶を用いて最後の有効なタスクから再開できる再起動可能なワークフローをサポートすることで、フレームワークは安定的で生産準備完了の自動化を実現する。
• ConvPlanReActプロンプティング戦略は、ReActをマルチエージェント対話へ拡張し、協調性とタスク分解の質を向上させた。
• 動的精錬とスキーマベースの入出力検証により、ツール使用の信頼性と正確性が向上し、信頼性が向上する。
• エピソード記憶によりエージェントは過去のタスク結果にアクセス・再利用でき、計画間での効率性と一貫性が向上する。
• 意図的および偶然的な人間のフィードバックがワークフローに効果的に統合され、最終出力品質と適応性が向上する。
• フレームワークは、ドキュメント編集やソフトウェア開発を含む多様なユースケースにわたるモジュラーでドメインに依存しないワークフローをサポートし、広範な産業的適用性を示している。

Figure 2: Components contributing to initialization of an Agent. Dashed lines indicate optional components.