[论文解读] Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution

Cheng Qian, Shihao Liang+7 more|arXiv (Cornell University)|Jan 25, 2024

Advanced Malware Detection Techniques被引用 6

一句话总结

ICE 是一个三阶段策略（Investigate, Consolidate, Exploit），它将规划与执行经验解耦，使 AI 代理能够进行跨任务自我演化，减少 API 调用并在更强的骨干网络上实现与之匹配。

ABSTRACT

This paper introduces Investigate-Consolidate-Exploit (ICE), a novel strategy for enhancing the adaptability and flexibility of AI agents through inter-task self-evolution. Unlike existing methods focused on intra-task learning, ICE promotes the transfer of knowledge between tasks for genuine self-evolution, similar to human experience learning. The strategy dynamically investigates planning and execution trajectories, consolidates them into simplified workflows and pipelines, and exploits them for improved task execution. Our experiments on the XAgent framework demonstrate ICE's effectiveness, reducing API calls by as much as 80% and significantly decreasing the demand for the model's capability. Specifically, when combined with GPT-3.5, ICE's performance matches that of raw GPT-4 across various agent tasks. We argue that this self-evolution approach represents a paradigm shift in agent design, contributing to a more robust AI community and ecosystem, and moving a step closer to full autonomy.

研究动机与目标

• 促进跨任务知识转移，以实现自主代理自我演化。
• 将规划与执行体验解耦，以实现可复用的记忆。
• 将体验整合为标准化的工作流和流水线，供自动复用。
• 在 XAgent 框架中展示效率和效能提升。

提出的方法

• 识别并跟踪跨任务的规划与执行经验。
• 将成功的规划整合为线性工作流，将成功的执行轨迹整合为有限自动机流水线。
• 将工作流和流水线存储在外部记忆中，以便通过相似性检索。
• 利用检索到的工作流/流水线来引导新任务的规划和自动执行。
• 通过减少 API 调用、完成率、纠正次数和对 XAgent 的再利用来评估 ICE。

实验结果

研究问题

• RQ1 跨任务经验是否可以解耦为规划和执行，以便在任务之间复用？
• RQ2 整合后的工作流和流水线是否在新任务上提高了效率和效果？
• RQ3 ICE 对 API 使用、规划质量和执行鲁棒性的影响如何？
• RQ4 检索到的计划/流水线在看不见但相似的任务上的迁移效果如何？

主要发现

ICE Strategy	Model	API Calls (All)	API Calls (Tools)	Completion Rate (Subtasks, %)	Rectifications Times	Re-utilization Rate
Standard (w/o ICE)	GPT-4	3025	807	82.18	45	-
GPT-3.5	4535	901	37.21	275	-
Planning ICE	GPT-4	2073	628	89.55	39	-
Execution ICE	GPT-4	456	317	93.10	-	53.52
Planning + Execution	GPT-4	495	313	90.32	6	47.89
GPT-3.5	401	257	90.74	5	53.52

• 使用 ICE 可将 API 调用减少最多 80%。
• 执行阶段的 ICE 对 API 调用的减少贡献最大。
• ICE 通常提高子任务完成率并减少计划纠正。
• 对未见任务的挖掘流水线再利用率大约为 50%。
• 在 Exploit 阶段，GPT-3.5 使用 ICE 时在性能上可媲美 GPT-4。