[論文レビュー] Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution

Cheng Qian, Shihao Liang+7 more|arXiv (Cornell University)|Jan 25, 2024

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

ICEは3段階の戦略（Investigate、Consolidate、Exploit）で、計画と実行の経験を分離し、AIエージェントのタスク間自己進化を可能にし、API呼び出しを削減し、より強力なバックボーンの性能に匹敵する。

ABSTRACT

This paper introduces Investigate-Consolidate-Exploit (ICE), a novel strategy for enhancing the adaptability and flexibility of AI agents through inter-task self-evolution. Unlike existing methods focused on intra-task learning, ICE promotes the transfer of knowledge between tasks for genuine self-evolution, similar to human experience learning. The strategy dynamically investigates planning and execution trajectories, consolidates them into simplified workflows and pipelines, and exploits them for improved task execution. Our experiments on the XAgent framework demonstrate ICE's effectiveness, reducing API calls by as much as 80% and significantly decreasing the demand for the model's capability. Specifically, when combined with GPT-3.5, ICE's performance matches that of raw GPT-4 across various agent tasks. We argue that this self-evolution approach represents a paradigm shift in agent design, contributing to a more robust AI community and ecosystem, and moving a step closer to full autonomy.

研究の動機と目的

• タスク間の知識伝達を促進し、自律的なエージェント自己進化を実現する。
• 計画と実行の経験を分離して再利用可能な記憶を作る。
• 経験を標準化されたワークフローとパイプラインへ統合し、自動再利用を実現する。
• XAgentフレームワークにおける効率性と有効性の向上を実証する。

提案手法

• タスク間で計画と実行の経験を識別・追跡する。
• 成功した計画を線形ワークフローに、成功した実行軌跡を有限オートマトン・パイプラインへ統合する。
• ワークフローとパイプラインを類似検索で取得できる外部メモリに保存する。
• 取得したワークフロー/パイプラインを活用して新しいタスクの計画と自動実行を導く。
• XAgent上でのAPI呼び出し削減、完了率、訂正、再利用によるICEを評価する。

実験結果

リサーチクエスチョン

• RQ1 タスク間の経験を、計画と実行に分離して他のタスクでも再利用できるか？
• RQ2 統合されたワークフローとパイプラインは新しいタスクで効率性と有効性を向上させるか？
• RQ3 ICEがAPI使用量、計画の質、実行の堅牢性に与える影響は？
• RQ4 取得された計画/パイプラインは、見たことはないが類似のタスクへどれだけうまく転移するか？

主な発見

ICE 戦略	モデル	API 呼び出し（合計）	API 呼び出し（ツール）	完了率（サブタスク、％）	訂正回数	再利用率
標準（ICEなし）	GPT-4	3025	807	82.18	45	-
GPT-3.5	4535	901	37.21	275	-
計画 ICE	GPT-4	2073	628	89.55	39	-
実行 ICE	GPT-4	456	317	93.10	-	53.52
計画 + 実行	GPT-4	495	313	90.32	6	47.89
GPT-3.5	401	257	90.74	5	53.52

• ICEによりAPI呼び出しを最大80%削減できる。
• 実行ICEがAPI呼び出し削減に最も寄与する。
• ICEは一般にサブタスクの完了率を向上させ、計画の訂正を減らす。
• 未知のタスクへの採掘パイプラインの再利用率は約50%である。
• Exploit時のGPT-3.5はICE使用時にGPT-4と同等の性能を発揮できる。