Skip to main content
QUICK REVIEW

[논문 리뷰] InfiniteWeb: Scalable Web Environment Synthesis for GUI Agent Training

Ziyun Zhang, Zezhou Wang|arXiv (Cornell University)|2026. 01. 07.
Web Data Mining and AnalysisComputer Science인용 수 0
한 줄 요약

InfiniteWeb은 GUI 에이전트 학습을 위한 검증 가능한 평가자와 함께 기능적이고 다양한 웹 환경을 자동으로 생성하여, 기준선 대비 기능적 정확성 향상과 에이전트 성능 개선을 달성합니다.

ABSTRACT

GUI agents that interact with graphical interfaces on behalf of users represent a promising direction for practical AI assistants. However, training such agents is hindered by the scarcity of suitable environments. We present InfiniteWeb, a system that automatically generates functional web environments at scale for GUI agent training. While LLMs perform well on generating a single webpage, building a realistic and functional website with many interconnected pages faces challenges. We address these challenges through unified specification, task-centric test-driven development, and a combination of website seed with reference design image to ensure diversity. Our system also generates verifiable task evaluators enabling dense reward signals for reinforcement learning. Experiments show that InfiniteWeb surpasses commercial coding agents at realistic website construction, and GUI agents trained on our generated environments achieve significant performance improvements on OSWorld and Online-Mind2Web, demonstrating the effectiveness of proposed system.

연구 동기 및 목표

  • GUI 에이전트를 학습시키기 위한 확장 가능하고 다양하며 검증 가능한 웹 환경의 필요성을 제시합니다.
  • 교차 페이지 일관성과 정확성을 보장하기 위한 통합 명세와 작업 중심의 테스트 주도 개발(TDD)을 제안합니다.
  • 시각적으로 다양한 웹사이트를 생성하기 위해 디자인 가이드 프런트엔드와 시드 기반 다양성을 도입합니다.
  • 에이전트 학습을 위한 조밀한 강화 학습 보상을 산출하는 자동 평가자를 제공합니다.
  • 기준선 대비 웹사이트 현실감과 GUI 에이전트 성능의 향상을 보여줍니다.

제안 방법

  • 통합 명세: 생성된 작업에서 데이터 모델과 인터페이스를 도출하여 페이지 간 일관성을 보장합니다.
  • 작업 중심 백엔드와 테스트 주도 개발(TCTDD): 모든 테스트가 통과될 때까지 작업 관련 코드를 생성하고 반복적으로 수정합니다.
  • 디자인 가이드 프런트엔드: 참조 디자인 이미지로 시각적 특징을 추출하고 시각적 다양성을 위한 페이지 생성을 안내합니다.
  • 평가자 생성: 측정 변수들을 사용하여 작업 기반 평가자를 만들어 조밀한 RL 보상 신호를 제공합니다.
  • 시드 + 디자인 이미지 가이드: 웹사이트 시드와 디자인 이미지를 결합하여 기능적 및 시각적 다양성을 촉진합니다.
  • 평가 방법론: WebGen-Bench에서 기준선과 비교하여 기능적 정확도와 시각적 품질을 평가하고 OSWorld와 Online-Mind2Web에서 에이전트 학습 영향력을 평가합니다.

실험 결과

연구 질문

  • RQ1종단 간 엔드-투-엔드 다중 페이지 웹사이트의 자동 생성이 GUI 에이전트 학습에 현실적이고 기능적인 환경을 제공할 수 있을까요?
  • RQ2통합 명세와 작업 중심의 정확성이 생성된 웹사이트의 페이지 간 일관성과 기능적 버그를 줄이는 데 도움이 되나요?
  • RQ3디자인 이미지와 시드가 GUI 에이전트의 과적합을 방지할 만큼 충분한 시각적 및 기능적 다양성을 제공할 수 있을까요?
  • RQ4자동으로 생성된 평가자가 RL 기반 GUI 에이전트 학습을 개선하는 조밀하고 유익한 보상을 제공합니까?
  • RQ5InfiniteWeb 환경에서 학습된 에이전트가 실제 웹 및 데스크톱 작업으로 얼마나 잘 전이되나요?

주요 결과

  • InfiniteWeb은 비교 대상 기준선 중에서 전체 WebGen-Bench 점수 85.6%를 가장 높게 달성했습니다.
  • TCTDD를 통한 작업 중심의 정확성이 기능 정확도를 대략 5포인트 향상시킵니다.
  • 측정에 의한 조밀한 보상 신호로 이진 보상 방식보다 4.4배 더 많은 작업에서 학습이 가능하게 합니다.
  • InfiniteWeb에서 생성된 환경에서의 학습은 OSWorld에서 +6.9퍼센트 포인트, Online-Mind2Web에서 +5.7포인트의 성능을 제공합니다.
  • 시각 품질 평가에서 우리의 방법은 LLM-판단자 평가에서 기준선 대비 69–85%의 우위를 지속적으로 보였습니다.
  • InfiniteWeb 환경에서의 에이전트 학습은 OSWorld와 Online-Mind2Web의 성능을 향상시켜 실제 작업으로의 이전 가능성을 시사합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.