[論文レビュー] WebPilot: A Versatile and Autonomous Multi-Agent System for Web Task Execution with Strategic Exploration

Yao Zhang, Zijian Ma+4 more|arXiv (Cornell University)|Aug 28, 2024

Mobile Agent-Based Network Management被引用数 4

ひとこと要約

WebPilotは、高レベルの計画とMCTS駆動の局所的実行を組み合わせた二重最適化戦略を採用するマルチエージェントシステムを導入し、複雑で動的なWeb環境における強固で適応的なナビゲーションを実現する。GPT-4を用いた場合、先行する木探索手法に比べWebArenaベンチマークで成功確率が93%向上する。

ABSTRACT

LLM-based autonomous agents often fail to execute complex web tasks that require dynamic interaction due to the inherent uncertainty and complexity of these environments. Existing LLM-based web agents typically rely on rigid, expert-designed policies specific to certain states and actions, which lack the flexibility and generalizability needed to adapt to unseen tasks. In contrast, humans excel by exploring unknowns, continuously adapting strategies, and resolving ambiguities through exploration. To emulate human-like adaptability, web agents need strategic exploration and complex decision-making. Monte Carlo Tree Search (MCTS) is well-suited for this, but classical MCTS struggles with vast action spaces, unpredictable state transitions, and incomplete information in web tasks. In light of this, we develop WebPilot, a multi-agent system with a dual optimization strategy that improves MCTS to better handle complex web environments. Specifically, the Global Optimization phase involves generating a high-level plan by breaking down tasks into manageable subtasks and continuously refining this plan, thereby focusing the search process and mitigating the challenges posed by vast action spaces in classical MCTS. Subsequently, the Local Optimization phase executes each subtask using a tailored MCTS designed for complex environments, effectively addressing uncertainties and managing incomplete information. Experimental results on WebArena and MiniWoB++ demonstrate the effectiveness of WebPilot. Notably, on WebArena, WebPilot achieves SOTA performance with GPT-4, achieving a 93% relative increase in success rate over the concurrent tree search-based method. WebPilot marks a significant advancement in general autonomous agent capabilities, paving the way for more advanced and reliable decision-making in practical environments.

研究の動機と目的

• 複雑で動的かつ部分観測可能なWebタスクを処理する際のLLMベースのWebエージェントの限界を解消すること。
• 硬直的で専門家が設計したポリシーに代わって、不確実な環境における適応的で人間らしい戦略的探索を可能にすること。
• 大規模なアクション空間、予測不能な遷移、不完全な情報が生じる実際のWeb環境において、モンテカルロツリー探索（MCTS）を改善すること。
• 微細なタスク進行状況と成果品質を捉える包括的な自己報酬メカニズムを構築すること。
• 自己反映的計画と反復的サブタスク精錬を通じて、未観測のタスクへの一般化を可能にすること。

提案手法

• WebPilotは二重最適化フレームワークを採用：観測結果と過去の試行の反映的分析を用いた高レベル計画の分解と精錬を実現するグローバル最適化。
• ローカル最適化では、各サブタスクに対して特化したMCTSを適用し、PUCTベースのアクション選択と探索バイアスを用いて、活用と探索のバランスを図る。
• 新規のエクスプローラーモジュールは、アクション効果を評価し、4つの要素（即時の効果、将来の状態の可能性、サブタスク進行度、目的との整合性）を用いて包括的な自己報酬を生成する。
• アセッサー・モジュールは、有効な状態スコアと将来の状態スコアを学習可能な重みで組み合わせ、MCTSのノード選択をガイドする総合スコアを計算する。
• コントローラーモジュールはフィードバックをもとに、サブタスクが完了したか、再計画が必要かを判断し、動的適応を可能にする。
• プランナーは、完了信号と新たな観測に基づいて、継続的にタスク分解を更新することで、グローバル計画の反復的精錬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 戦略的探索を有するマルチエージェントシステムは、複雑で動的なWeb環境において、硬直的で専門家が設計したポリシーを上回ることができるか？
• RQ2 実際のWebタスクにおける大規模なアクション空間、予測不能な遷移、不完全な情報に対処するために、MCTSをどのように強化できるか？
• RQ3 自己反映的で高レベルの計画は、長期間にわたるWebタスクにおけるLLMベースのエージェントの成功確率をどの程度向上できるか？
• RQ4 即時の効果と将来の状態評価を統合した包括的な自己報酬メカニズムは、部分観測可能な環境における意思決定を改善できるか？
• RQ5 グローバル計画とローカルMCTS最適化の統合は、未観測のWebタスクへの一般化を実現できるか？

主な発見

• WebPilotは、GPT-4を用いたWebArenaベンチマークにおいて、同時期の木探索ベース手法に比べ93%の相対的な成功確率の向上を達成した。
• WebArenaにおいて、WebPilotは最先端の性能を発揮し、動的相互作用、部分観測性、固定ポリシーでない環境、スケーラビリティ、現実的環境、包括的な自己報酬の観点で、既存手法を上回った。
• システムは、状態遷移が不確実で、情報が不完全な複雑な長期間タスクに対しても、強靭に耐える能力を示した。
• 自己反映的グローバル計画とMCTS駆動のローカル実行を組み合わせた二重最適化戦略は、適応性と成功確率の両方を顕著に向上させた。
• 包括的な自己報酬メカニズムは、微細なタスク進行状況を効果的に捉えており、複雑な環境における意思決定を改善した。
• 本手法は、WebArenaやMiniWoB++を含む多様なベンチマークにおいて、未観測のタスクに対しても良好な一般化性能を示した。