[논문 리뷰] Web Application Testing: Using Tree Kernels to Detect Near-duplicate States in Automated Model Inference

Anna Corazza, Sergio Di Martino외 2명|arXiv (Cornell University)|2021. 08. 30.

Software Testing and Debugging Techniques참고 문헌 42인용 수 11

한 줄 요약

이 논문은 웹 애플리케이션 모델 추론에서 트리 커널(TK) 함수를 사용하여 트리 구조를 가진 문서 개체 모델(DOM)을 비교함으로써 근접 중복 검출 기법을 제안한다. 10만 개의 웹 페이지 쌍으로 구성된 데이터셋에서 평가한 결과, TK 기반 접근 방식은 최신 기술보다 뛰어나며, 훈련 세트에서 기준선 중 가장 우수한 Perceptual Diff 대비 F1 점수 5% 향상, 테스트 세트에서 1% 향상된 성능을 기록했다.

ABSTRACT

In the context of End-to-End testing of web applications, automated exploration techniques (a.k.a. crawling) are widely used to infer state-based models of the site under test. These models, in which states represent features of the web application and transitions represent reachability relationships, can be used for several model-based testing tasks, such as test case generation. However, current exploration techniques often lead to models containing many near-duplicate states, i.e., states representing slightly different pages that are in fact instances of the same feature. This has a negative impact on the subsequent model-based testing tasks, adversely affecting, for example, size, running time, and achieved coverage of generated test suites. As a web page can be naturally represented by its tree-structured DOM representation, we propose a novel near-duplicate detection technique to improve the model inference of web applications, based on Tree Kernel (TK) functions. TKs are a class of functions that compute similarity between tree-structured objects, largely investigated and successfully applied in the Natural Language Processing domain. To evaluate the capability of the proposed approach in detecting near-duplicate web pages, we conducted preliminary classification experiments on a freely-available massive dataset of about 100k manually annotated web page pairs. We compared the classification performance of the proposed approach with other state-of-the-art near-duplicate detection techniques. Preliminary results show that our approach performs better than state-of-the-art techniques in the near-duplicate detection classification task. These promising results show that TKs can be applied to near-duplicate detection in the context of web application model inference, and motivate further research in this direction.

연구 동기 및 목표

• 자동화된 웹 애플리케이션 모델 추론에서 근접 중복 상태 문제를 해결하기 위해.
• 기능적으로 동일하지만 구조가 다른 웹 페이지를 탐지함으로써 모델의 압축성과 품질을 향상시키기 위해.
• 트리 커널 함수가 웹 애플리케이션 테스팅에서 근접 중복을 탐지하는 데 효과적인지 평가하기 위해.
• 시각 기반 또는 기본 문자열 기반 유사도 방법에 비해 더 효율적이고 정확한 대안을 제공하기 위해.

제안 방법

• 이 접근 방식은 웹 페이지를 트리 구조를 가진 DOM으로 표현하고, 트리 커널(TK) 함수를 적용하여 유사도를 계산한다.
• KeLP 라이브러리의 TK 함수 구현을 사용하여 각 웹 페이지 쌍에 대해 유사도 벡터를 추출한다.
• 10만 개의 수동으로 주석 처리된 웹 페이지 쌍으로 구성된 데이터셋을 사용하여 유사도 벡터 기반으로 서포트 벡터 머신(SVM) 분류기를 훈련시킨다.
• 성능을 비교하기 위해 훈련 및 테스트 세트에서 매크로 평균 F1 점수를 사용하여 10개의 기준선 기법과 비교 평가한다.
• 이 방법은 계산 비용이 높은 시각적 비교 방법을 피하기 위해 효율적이고 DOM 기반으로 설계되어 있다.
• 향후 확장 방향으로는 웹 페이지 구조에 맞게 맞춤형 TK 함수를 설계하고, Crawljax와 같은 오픈소스 크롤러에 통합하는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 트리 커널 함수는 자동화된 모델 추론 환경에서 근접 중복 웹 페이지를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 TK 기반 방법은 기존 최신 기술 대비 성능에서 어떻게 비교되는가?
• RQ3 Perceptual Diff와 같은 시각 기반 방법에 비해 TK 기반 접근 방식은 더 효율적이면서도 높은 정확도를 유지하는가?
• RQ4 맞춤형으로 설계된 트리 커널 함수는 웹 애플리케이션 상태에 대한 탐지 정확도를 추가로 향상시킬 수 있는가?
• RQ5 근접 중복 검출은 모델 기반 테스팅의 품질과 효율성에 어떤 영향을 미치는가?

주요 결과

• TK 기반 접근 방식은 기준선 중 가장 우수한 Perceptual Diff 대비 훈련 세트에서 매크로 평균 F1 점수를 5% 높게 기록했다.
• 테스트 세트에서는 Perceptual Diff(최고 성능 기준선) 대비 F1 점수를 1% 향상시켰다.
• RTED 및 레벤슈타인 거리와 같은 DOM 기반 기준선을 포함한 10개의 모든 기준선 기법보다 TK 기반 방법이 뛰어난 성능을 보였다.
• 모든 데이터셋에서 가장 우수한 DOM 기반 기준선(RTED 및 레벤슈타인 거리) 대비 분류 성능을 약 10% 향상시켰다.
• 시각 기반 기법인 Perceptual Diff는 분당 4개의 상태만 처리할 수 있는 데 비해, DOM 기반 방법은 분당 최대 25개의 상태를 처리할 수 있어 더 효율적이다.
• 결과적으로 TK는 웹 애플리케이션 모델 추론에서 근접 중복 검출을 위한 유망하고 확장 가능하며 정확한 솔루션으로 보인다.