[论文解读] WebPilot: A Versatile and Autonomous Multi-Agent System for Web Task Execution with Strategic Exploration

Yao Zhang, Zijian Ma+4 more|arXiv (Cornell University)|Aug 28, 2024

Mobile Agent-Based Network Management被引用 4

一句话总结

WebPilot 引入了一种多智能体系统，通过结合高层规划与基于 MCTS 的本地执行的双重优化策略，增强了基于大语言模型的网络智能体，使其能够在复杂、动态的网络环境中实现稳健且自适应的导航。该系统在 WebArena 上实现了最先进性能，相较于先前基于树搜索的方法，成功率达到提升 93%，使用 GPT-4 作为模型基础。

ABSTRACT

LLM-based autonomous agents often fail to execute complex web tasks that require dynamic interaction due to the inherent uncertainty and complexity of these environments. Existing LLM-based web agents typically rely on rigid, expert-designed policies specific to certain states and actions, which lack the flexibility and generalizability needed to adapt to unseen tasks. In contrast, humans excel by exploring unknowns, continuously adapting strategies, and resolving ambiguities through exploration. To emulate human-like adaptability, web agents need strategic exploration and complex decision-making. Monte Carlo Tree Search (MCTS) is well-suited for this, but classical MCTS struggles with vast action spaces, unpredictable state transitions, and incomplete information in web tasks. In light of this, we develop WebPilot, a multi-agent system with a dual optimization strategy that improves MCTS to better handle complex web environments. Specifically, the Global Optimization phase involves generating a high-level plan by breaking down tasks into manageable subtasks and continuously refining this plan, thereby focusing the search process and mitigating the challenges posed by vast action spaces in classical MCTS. Subsequently, the Local Optimization phase executes each subtask using a tailored MCTS designed for complex environments, effectively addressing uncertainties and managing incomplete information. Experimental results on WebArena and MiniWoB++ demonstrate the effectiveness of WebPilot. Notably, on WebArena, WebPilot achieves SOTA performance with GPT-4, achieving a 93% relative increase in success rate over the concurrent tree search-based method. WebPilot marks a significant advancement in general autonomous agent capabilities, paving the way for more advanced and reliable decision-making in practical environments.

研究动机与目标

• 解决基于大语言模型的网络智能体在处理复杂、动态且部分可观测的网络任务时的局限性。
• 通过在不确定环境中实现自适应、类人的战略探索，克服刚性、专家设计的策略。
• 改进蒙特卡洛树搜索（MCTS），以应对大规模动作空间、不可预测的状态转移以及真实网络环境中信息不完整的问题。
• 开发一种全面的自定义奖励机制，以捕捉任务进展的细微差别与结果质量。
• 通过反思性规划与迭代子任务优化，实现对未见任务的泛化能力。

提出的方法

• WebPilot 采用双重优化框架：全局优化通过反思性分析观察结果与先前尝试，实现高层计划的分解与优化。
• 局部优化针对每个子任务使用定制化的 MCTS，结合 PUCT 的动作选择机制与探索偏差，以平衡利用与探索。
• 引入一种新型的探索者模块，用于评估动作效果，并基于四个组成部分生成全面的自定义奖励：即时影响、未来状态潜力、子任务进展与目标一致性。
• 评估者模块计算总分，结合有效状态分与未来状态分，并使用可学习权重，指导 MCTS 节点选择。
• 控制器模块利用反馈判断子任务是否完成或需要重新规划，实现动态适应。
• 规划器持续根据完成信号与新观察结果更新任务分解，实现全局计划的迭代优化。

实验结果

研究问题

• RQ1 在复杂、动态的网络环境中，具备战略探索能力的多智能体系统是否能超越僵化、专家设计的策略？
• RQ2 如何增强 MCTS 以应对真实网络任务中的大规模动作空间、不可预测的状态转移与信息不完整问题？
• RQ3 反思性高层规划在多大程度上能提升基于大语言模型的智能体在长周期网络任务中的成功率？
• RQ4 一种结合即时影响与未来状态评估的全面自定义奖励机制，是否能提升在部分可观测环境中的决策质量？
• RQ5 全局规划与局部 MCTS 优化的整合是否能实现对未见网络任务的泛化能力？

主要发现

• 在使用 GPT-4 的 WebArena 基准测试中，WebPilot 相较于同期基于树搜索的方法，成功率相对提升了 93%。
• 在 WebArena 上，WebPilot 达到了最先进性能，在动态交互、部分可观测性、非固定策略、可扩展性、真实环境以及全面自定义奖励等方面优于现有方法。
• 该系统在处理具有不确定状态转移与信息不完整的复杂、长周期任务时表现出显著鲁棒性。
• 双重优化策略——结合反思性全局规划与 MCTS 驱动的本地执行——显著提升了系统的适应性与成功率。
• 全面的自定义奖励机制有效捕捉了任务进展的细微差别，从而在复杂环境中实现更优决策。
• 该方法在未见任务上表现出良好的泛化能力，其在 WebArena 与 MiniWoB++ 等多样化基准测试中的表现已得到验证。