[論文レビュー] Multimodal Web Navigation with Instruction-Finetuned Foundation Models

Hiroki Furuta, Kuang-Huei Lee+5 more|arXiv (Cornell University)|May 19, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

この論文では、視覚言語基盤モデルと視覚エンコーダーおよび指示微調整済み言語モデルの共同微調整を組み合わせることで、HTMLおよびスクリーンショット入力を用いて根拠のあるマルチモーダルWebナビゲーションを実行する、指示微調整済みマルチモーダルエージェントであるWebGUMを紹介する。347Kサンプルのデータセットを完全にオフラインで訓練したWebGUMは、MiniWoB++で先行するオフライン手法よりも45.8%の向上を達成し、オンライン微調整済みSOTAモデル、GPT-4エージェント、および人間のパフォーマンスを上回った。

ABSTRACT

The progress of autonomous web navigation has been hindered by the dependence on billions of exploratory interactions via online reinforcement learning, and domain-specific model designs that make it difficult to leverage generalization from rich out-of-domain data. In this work, we study data-driven offline training for web agents with vision-language foundation models. We propose an instruction-following multimodal agent, WebGUM, that observes both webpage screenshots and HTML pages and outputs web navigation actions, such as click and type. WebGUM is trained by jointly finetuning an instruction-finetuned language model and a vision encoder with temporal and local perception on a large corpus of demonstrations. We empirically demonstrate this recipe improves the agent's ability of grounded multimodal perception, HTML comprehension, and multi-step reasoning, outperforming prior works by a significant margin. On the MiniWoB, we improve over the previous best offline methods by more than 45.8%, even outperforming online-finetuned SoTA, humans, and GPT-4-based agent. On the WebShop benchmark, our 3-billion-parameter model achieves superior performance to the existing SoTA, PaLM-540B. Furthermore, WebGUM exhibits strong positive transfer to the real-world planning tasks on the Mind2Web. We also collect 347K high-quality demonstrations using our trained models, 38 times larger than prior work, and make them available to promote future research in this direction.

研究の動機と目的

• Webナビゲーションにおけるオンライン強化学習の限界を解消するため、膨大な試行錯誤を必要とし、現実世界での失敗のリスクを伴う。
• 視覚的および構造的Web入力を持つ大規模で高品質なデモンストレーションを活用することで、安全でデータ駆動型のオフライン訓練を可能にする。
• 視覚および言語モデルの共同微調整を通じて、マルチモーダル認識、HTML理解、およびマルチステップ推論を向上させる。
• 固定アクションセットに制限されない、一般化可能でオープンエンドのWebナビゲーションエージェントを実現する。
• 347Kサンプルの高品質なマルチモーダルWebナビゲーションデータセット（先行作業の38倍）をリリースすることで、将来的な研究を促進する。

提案手法

• WebGUMは、視覚エンコーダー（ViT）と指示微調整済みの大規模言語モデル（LLM）を用い、WebページのスクリーンショットとHTML DOM構造の両方を処理する。
• モデルは、時間的および局所的認識に重点を置いた、ペアドスクリーンショットとHTMLを含む大規模なマルチモーダルデモンストレーションデータセット上で共同微調整される。
• 指示微調整済みLLMを活用することで、マルチモーダル入力に対する根拠のある推論を可能にする指示従い行動を向上させる。
• エージェントは、'ref=12の要素をクリック'や'type [e-mail]'といった自由形式のテキストでアクションを生成するため、オープンエンドなナビゲーションが可能になる。
• 訓練レシピは、視覚および言語エンコーダーからの意味的に豊富なトークンと時間的文脈を組み合わせることで、根拠のあるマルチモーダル理解を強調する。
• 特定タスク向けアーキテクチャ（例：GNN、LSTM）を避けており、一般化を実現するため、基盤モデルに依存する。

Figure 1: Example episode on MiniWoB++ (Shi et al., 2017 ; Liu et al., 2018 ) ( email-inbox-forward-nl ). The agent clicks the email from the proper sender, and types the correct receiver to forward that email, to satisfy the given instruction (e.g. Find Gisele’s email and forward it to Siana, pleas

実験結果

リサーチクエスチョン

• RQ1 視覚的および構造的入力（画像およびHTML）を持つ指示微調整済み基盤モデルは、先行するオフラインWebナビゲーションエージェントを上回ることができるか？
• RQ2 視覚および言語エンコーダーの共同微調整は、Webナビゲーションにおける根拠のある認識およびマルチステップ推論を向上させるか？
• RQ3 完全にオフラインで訓練されたエージェントは、オンライン微調整済みSOTAモデルおよび人間のパフォーマンスを上回ることができるか？
• RQ4 モデルは、Mind2Webベンチマークのような実世界の、分布外のタスクにどの程度一般化できるか？
• RQ5 デモンストレーションデータセットの規模および品質は、エージェントのパフォーマンスおよび一般化にどの程度影響を与えるか？

主な発見

• WebGUMは、MiniWoB++で先行する最良のオフライン手法を45.8%向上させ、オフライン設定における最先端のパフォーマンスを達成した。
• オフラインで訓練されたにもかかわらず、GPT-4ベースおよび人間レベルのパフォーマンスを上回るオンライン微調整済みSOTAエージェントを凌駆した。
• WebShopベンチマークでは、30億パラメータのWebGUMモデルが5400億パラメータのPaLM-540Bを上回り、優れたパラメータ効率を示した。
• モデルは、Mind2Webベンチマークにおける実世界の計画タスクに強く正の転送を示し、未観測で複雑なWebタスクへの強力な一般化能力を示した。
• 著者らは、347Kサンプルのマルチモーダルデータセット（先行作業の38倍）を収集・リリースし、Webエージェントの高品質で安全かつスケーラブルな訓練を可能にした。
• アブレーションスタディにより、指示微調整と視覚・言語エンコーダーの共同微調整が、マルチモーダル入力に対する根拠のある認識および推論を顕著に向上させることを確認した。

Figure 2: Overview of WebGUM, our multimodal encoder-decoder model. It takes screenshots, action history, instruction, and HTML as inputs. Image observations are embedded to tokens via pre-trained vision transformer (ViT) (Dosovitskiy et al., 2020 ) . Visual tokens contain rich temporal information