[논문 리뷰] Multimodal Web Navigation with Instruction-Finetuned Foundation Models

Hiroki Furuta, Kuang-Huei Lee외 5명|arXiv (Cornell University)|2023. 05. 19.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시각-언어 기초 모델과 시각 인코더 및 지시 미세조정된 언어 모델의 공동 미세조정을 결합하여 HTML 및 스크린샷 입력을 사용해 기반화된 다중모odal 웹 탐색을 수행하는 지시 미세조정된 다중모달 에이전트인 WebGUM을 소개한다. 347K개 샘플 데이터셋으로 완전히 오프라인으로 훈련된 WebGUM은 MiniWoB++에서 이전 오프라인 방법보다 45.8% 향상되었으며, 온라인 미세조정된 SOTA 모델, GPT-4 에이전트 및 인간 성능을 초월한다.

ABSTRACT

The progress of autonomous web navigation has been hindered by the dependence on billions of exploratory interactions via online reinforcement learning, and domain-specific model designs that make it difficult to leverage generalization from rich out-of-domain data. In this work, we study data-driven offline training for web agents with vision-language foundation models. We propose an instruction-following multimodal agent, WebGUM, that observes both webpage screenshots and HTML pages and outputs web navigation actions, such as click and type. WebGUM is trained by jointly finetuning an instruction-finetuned language model and a vision encoder with temporal and local perception on a large corpus of demonstrations. We empirically demonstrate this recipe improves the agent's ability of grounded multimodal perception, HTML comprehension, and multi-step reasoning, outperforming prior works by a significant margin. On the MiniWoB, we improve over the previous best offline methods by more than 45.8%, even outperforming online-finetuned SoTA, humans, and GPT-4-based agent. On the WebShop benchmark, our 3-billion-parameter model achieves superior performance to the existing SoTA, PaLM-540B. Furthermore, WebGUM exhibits strong positive transfer to the real-world planning tasks on the Mind2Web. We also collect 347K high-quality demonstrations using our trained models, 38 times larger than prior work, and make them available to promote future research in this direction.

연구 동기 및 목표

• 웹 탐색에서 온라인 강화 학습의 한계를 해결하기 위해, 막대한 시행착오와 실제 실험에서의 실패 위험을 수반하는 방법을 개선하고자 한다.
• 시각적 및 구조적 웹 입력을 모두 포함한 대규모 고품질 시연 데이터를 활용하여 안전하고 데이터 기반의 오프라인 훈련을 가능하게 하기 위해 노력한다.
• 시각 및 언어 모델의 공동 미세조정을 통해 웹 에이전트의 다중모달 인식, HTML 이해력 및 다단계 추론 능력을 향상시키고자 한다.
• 고정된 액션 세트에 제한되지 않고 자유형 액션 생성이 가능한 일반화된, 개방형 웹 탐색 에이전트를 개발하고자 한다.
• 347K개 샘플로 구성된 고품질 다중모달 웹 탐색 데이터셋을 공개하여 향후 연구를 촉진하고자 한다. 이는 이전 작업 대비 38배 큰 규모이다.

제안 방법

• WebGUM은 시각 인코더(ViT)와 지시 미세조정된 대규모 언어 모델(LLM)을 사용하여 웹페이지 스크린샷과 HTML DOM 구조를 모두 처리한다.
• 모델은 시각적 및 구조적 입력이 짝지어진 대규모 다중모달 시연 데이터셋에서 공동으로 미세조정되며, 시간적 및 국소적 인식에 중점을 둔다.
• 지시 미세조정된 LLM을 활용하여 지시 수행 행동을 향상시키고, 다중모달 입력에 기반한 기반화된 추론을 가능하게 한다.
• 에이전트는 'ref=12를 가진 요소를 클릭하라' 또는 '[e-mail]를 입력하라'와 같은 자유형 텍스트 액션을 생성함으로써 개방형 탐색을 가능하게 한다.
• 훈련 레시피는 시각 및 언어 인코더에서 유래한 의미적으로 rich한 토큰과 시간적 맥락을 결합하여 기반화된 다중모달 이해를 강조한다.
• 특정 작업 아키텍처(예: GNN, LSTM)를 회피하고, 일반화를 위해 기초 모델에 의존한다.

Figure 1: Example episode on MiniWoB++ (Shi et al., 2017 ; Liu et al., 2018 ) ( email-inbox-forward-nl ). The agent clicks the email from the proper sender, and types the correct receiver to forward that email, to satisfy the given instruction (e.g. Find Gisele’s email and forward it to Siana, pleas

실험 결과

연구 질문

• RQ1 시각적 입력(이미지)과 HTML을 모두 포함한 지시 미세조정 기초 모델이 이전 오프라인 웹 탐색 에이전트를 능가할 수 있는가?
• RQ2 시각 및 언어 인코더의 공동 미세조정이 웹 탐색에서 기반화된 인식과 다단계 추론 능력을 향상시키는가?
• RQ3 완전히 오프라인으로 훈련된 에이전트가 온라인 미세조정된 SOTA 모델 및 인간 성능을 초월할 수 있는가?
• RQ4 모델이 실제 세계의 분포 외부 작업, 예를 들어 Mind2Web 벤치마크의 작업들에 대해 얼마나 일반화되는가?
• RQ5 시연 데이터셋의 규모와 품질이 에이전트 성능 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• WebGUM은 MiniWoB++에서 이전 최고의 오프라인 방법보다 45.8% 향상되어 오프라인 설정에서 최고 성능을 기록했다.
• 오히려 오프라인으로 훈련되었음에도 불구하고, GPT-4 기반 및 인간 수준의 성능을 기록한 온라인 미세조정된 SOTA 에이전트를 모두 능가했다.
• WebShop 벤치마크에서 WebGUM의 30억 파라미터 모델은 5400억 파라미터의 PaLM-540B를 능가하여 뛰어난 파라미터 효율성을 보였다.
• 모델은 Mind2Web 벤치마크에서 실제 세계의 계획 수립 작업에 대해 강력한 양면 전이 능력을 보이며, 예상치 못한 복잡한 웹 작업에 대한 강력한 일반화 능력을 나타냈다.
• 저자들은 347K개 샘플의 다중모달 데이터셋을 수집하고 공개하였으며, 이는 이전 작업 대비 38배 큰 규모이다. 이는 고품질, 안전하고 확장 가능한 웹 에이전트 훈련을 가능하게 한다.
• 제거 실험을 통해 시각 및 언어 인코더의 공동 미세조정과 지시 미세조정이 다중모달 입력에 기반한 기반화된 인식 및 추론 능력을 크게 향상시킨다는 점을 확인했다.

Figure 2: Overview of WebGUM, our multimodal encoder-decoder model. It takes screenshots, action history, instruction, and HTML as inputs. Image observations are embedded to tokens via pre-trained vision transformer (ViT) (Dosovitskiy et al., 2020 ) . Visual tokens contain rich temporal information