[論文レビュー] Web Application Testing: Using Tree Kernels to Detect Near-duplicate States in Automated Model Inference

Anna Corazza, Sergio Di Martino+2 more|arXiv (Cornell University)|Aug 30, 2021

Software Testing and Debugging Techniques参考文献 42被引用数 11

ひとこと要約

本稿では、Webアプリケーションのモデル推論における近似重複検出のための新規手法を提案する。この手法は、ツリー構造のドキュメントオブジェクトモデル（DOM）同士を比較するためにツリー・カーネル（TK）関数を用いる。10万件のページペアからなるデータセットを用いた評価において、TKベースのアプローチは最先端の手法を上回り、訓練セットでは最良のベースラインであるPerceptual Diffに対して5%のF1スコア向上を達成した。テストセットでは1%の向上を示した。

ABSTRACT

In the context of End-to-End testing of web applications, automated exploration techniques (a.k.a. crawling) are widely used to infer state-based models of the site under test. These models, in which states represent features of the web application and transitions represent reachability relationships, can be used for several model-based testing tasks, such as test case generation. However, current exploration techniques often lead to models containing many near-duplicate states, i.e., states representing slightly different pages that are in fact instances of the same feature. This has a negative impact on the subsequent model-based testing tasks, adversely affecting, for example, size, running time, and achieved coverage of generated test suites. As a web page can be naturally represented by its tree-structured DOM representation, we propose a novel near-duplicate detection technique to improve the model inference of web applications, based on Tree Kernel (TK) functions. TKs are a class of functions that compute similarity between tree-structured objects, largely investigated and successfully applied in the Natural Language Processing domain. To evaluate the capability of the proposed approach in detecting near-duplicate web pages, we conducted preliminary classification experiments on a freely-available massive dataset of about 100k manually annotated web page pairs. We compared the classification performance of the proposed approach with other state-of-the-art near-duplicate detection techniques. Preliminary results show that our approach performs better than state-of-the-art techniques in the near-duplicate detection classification task. These promising results show that TKs can be applied to near-duplicate detection in the context of web application model inference, and motivate further research in this direction.

研究の動機と目的

• 自動化されたWebアプリケーションのモデル推論における近似重複状態の問題に対処すること。
• 機能的に同一だが構造が異なるWebページを検出することで、モデルのコンactさと品質を向上させること。
• ツリー・カーネル関数がWebアプリケーションのテストにおける近似重複検出にどの程度有効であるかを評価すること。
• 視覚ベースや基本的な文字列ベースの類似度手法に代わる、より効率的かつ正確な代替手法を提供すること。

提案手法

• 本手法は、Webページをツリー構造のDOMとして表現し、それらの類似度をツリー・カーネル（TK）関数を用いて計算する。
• KeLPライブラリのTK関数の実装を用いて、各Webページペアに対して類似度ベクトルを抽出する。
• 10万件の手動でアノテートされたWebページペアのデータセットを用いて、類似度ベクトル上でサポートベクターマシン（SVM）分類器を学習する。
• 訓練セットおよびテストセットにおけるマクロ平均F1スコアを用いて、10種類のベースライン手法と比較して性能を評価する。
• 本手法は効率的でDOMベースのアプローチであり、計算コストの高い視覚的比較手法を回避する設計である。
• 今後の拡張では、Webページの構造に合わせたカスタムTK関数の設計を行い、Crawljaxなどのオープンソースクローラーに統合することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 ツリー・カーネル関数は、自動モデル推論の文脈において、近似重複Webページを効果的に検出できるか？
• RQ2 提案されたTKベースの手法は、既存の最先端の近似重複検出技術と比較して、どの程度の性能を示すか？
• RQ3 Perceptual Diffのような視覚ベース手法に比べて、TKベースの手法は高い正確性を維持しながらも、より効率的か？
• RQ4 カスタム設計されたツリー・カーネル関数は、Webアプリケーションの状態における検出正確性をさらに向上させられるか？
• RQ5 近似重複検出は、モデル駆動テストの品質と効率性にどのような影響を与えるか？

主な発見

• TKベースの手法は、訓練セットにおいて最良のベースラインであるPerceptual Diffよりも5%高いマクロ平均F1スコアを達成した。
• テストセットにおいても、Perceptual Diff（最良のベースライン）に対して1%のF1スコア向上を示した。
• RTED やレーベンシュタイン距離といったDOMベースの手法を含む、10種類のすべてのベースライン手法を上回った。
• 両方のデータセットにおいて、RTED やレーベンシュタイン距離といった最良のDOMベースのベースラインよりも、分類性能が約10%向上した。
• 視覚ベース手法（例：Perceptual Diff）は1分間に4つの状態しか処理できないが、DOMベースの手法は1分間に最大25の状態を処理できるため、本手法は視覚ベース手法よりも効率的である。
• 結果から、TKはWebアプリケーションのモデル推論における近似重複検出のための有望なスケーラブルで正確なソリューションであると考えられる。