[논문 리뷰] WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

Xiwen Teoh, Yun Lin외 4명|arXiv (Cornell University)|2026. 02. 12.

Software Testing and Debugging Techniques인용 수 0

한 줄 요약

WebTestPilot은 심볼화 계층을 갖춘 LLM 기반 에이전트를 사용하여 자연어 요구사항으로부터 암시적 오라클을 추론하고, 다양한 NL 입력에 걸쳐 강력한 엔드투엔드 웹 테스트 및 버그 탐지를 가능하게 한다. 이는 높은 작업 완료 및 버그 탐지 지표를 달성하고 모델 간 및 실제 무코드 배포에서도 일반화된다.

ABSTRACT

Visual language model (VLM) agents show great promise in automating end-to-end (E2E) web testing against requirements in natural language. However, the probabilistic nature of language models can have inherent hallucinations. Therefore, given a detected inconsistency between the requirement and the web application, it is hard to distinguish whether it stems from the hallucination or a real application bug. Addressing this issue presents two core technical challenges: the implicit oracle inference challenge, where the agent must act as its own oracle to implicitly decide if the application's behavior is correct without guidance, and the probabilistic inference challenge, where an LLM's inconsistent reasoning undermines its trustworthiness as an oracle. Existing LLM-based approaches fail to capture such implicit oracles, either by treating any page navigation that doesn't crash as a success, or by checking each state in isolation, thus missing bugs dependent on context from prior steps. We introduce WebTestPilot, an LLM-based agent designed to address these challenges. WebTestPilot uses (1) a symbolization layer which detects and symbolizes critical GUI elements on the web application into symbols (i.e., variables) and (2) translates natural language specification into a sequence of steps, each of which is equipped with inferred pre- and post-conditions over the symbols as an oracle. This oracle captures data, temporal, and causal dependencies, enabling the validation of implicit requirements. To advance research in this area, we build a benchmark of bug-injected web apps for evaluating NL-to-E2E testing. The results show that WebTestPilot achieves a task completion rate of 99%, with 96% precision and 96% recall in bug detection, outperforming the best baseline (+70 precision, +27 recall). The agent generalizes across diverse natural language inputs and model scales.

연구 동기 및 목표

• 자연어 요구사항을 실행 가능한 엔드투엔드 테스트 단계로 변환하고 검증 가능한 오라클을 제공한다.
• 상태 간 의존성(인과적, 시간적, 데이터)을 추론하여 교차 상태의 정합성을 검증한다.
• 신경 추론과 기호 DSL을 결합하여 Ground된 재사용 가능한 어설션을 생성한다.
• 새로운 NL-투-E2E 버그 탐지 벤치마크와 실제 비코드 배포에서 평가한다.

제안 방법

• 자연어 요구사항을 조건-동작-예측의 정렬된 순서의 단계로 파싱한다.
• 도메인 특화 심볼을 스키마로 추출하고 인스턴스화하기 위해 심볼화 계층을 사용한다.
• 심볼 위에 파이썬 확장 DSL로 명시적 및 암시적 요구사항을 인코딩하는 사전-및 사후조건을 정의한다.
• GUI 접지 모델로 대략적 요소 위치를 로컬라이즈하고 Set-of-Mark 프롬팅으로 정확한 실행 가능 동작을 생성한다.
• 주입된 LLM 환각을 완화하기 위해 재시도 및 선택적 다수결 투표를 수행한다.
• 웹 애플리케이션에 버그를 주입한 벤치마크를 구성하고 LLM 기준선(NaviQAte, LaVague, PinATA)을 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: WebTestPilot은 기본 GUI 테스트 에이전트와 비교하여 테스트 트래젝터리를 얼마나 효과적으로 생성하는가?
• RQ2 RQ2: WebTestPilot은 시각적 및 기능적 결함을 기존의 에이전트 기반 기준선에 비해 얼마나 잘 탐지하는가?
• RQ3 RQ3: 고정 입력 형식 없이 다양한 비구조적 자연어 요구사항에 대해 WebTestPilot은 얼마나 견고한가?
• RQ4 RQ4: 경량 LLM에서 모델 크기와 개선이 WebTestPilot의 성능에 어떤 영향을 미치는가?

주요 결과

• NL-to-E2E 테스트 벤치에서 작업 완성도 99%를 달성한다.
• 버그 탐지에서 정밀도 96% 및 재현율 96%를 달성한다.
• 벤치마크에서 가장 강력한 기준선 대비 약 +70의 정밀도 및 +27의 재현율로 우수한 성능을 보인다.
• 3B에서 72B 매개변수에 이르는 다양한 NL 입력과 모델 규모에 대해 일반화된다.
• 실제 노코드 플랫폼 배포에서 데이터 바인딩, UI, 네비게이션 문제를 포함하여 8개의 버그를 발견했다.
• 4개의 웹 애플리케이션에서 110개의 주입된 버그로 대중적으로 유용한 벤치마크를 구축한다.