[論文レビュー] Grey-box GUI Testing: Efficient Generation of Event Sequences

Stephan Arlt, Ishan Banerjee+3 more|arXiv (Cornell University)|May 22, 2012

Software Testing and Debugging Techniques参考文献 29被引用数 13

ひとこと要約

本稿では、ブラックボックスのイベントフローグラフ（EFG）とホワイトボックスのイベント依存性グラフ（EDG）を組み合わせることで、効率的でデータ依存性のあるイベントシーケンスを生成するグレーエックスGUIテスト手法を提案する。バイトコードを分析してイベントハンドラ間のデータ依存関係をモデル化し、それをEFGにマッピングすることで、テストスイートのサイズを削減しながらもカバレッジを維持し、オープンソースアプリケーションで2件の新しいバグを発見した。

ABSTRACT

Graphical user interfaces (GUIs), due to their event driven nature, present a potentially unbounded space of all possible ways to interact with software. During testing it becomes necessary to effectively sample this space. In this paper we develop algorithms that sample the GUI's input space by only generating sequences that (1) are allowed by the GUI's structure, and (2) chain together only those events that have data dependencies between their event handlers. We create a new abstraction, called an event-dependency graph (EDG) of the GUI, that captures data dependencies between event handler code. We develop a mapping between EDGs and an existing black-box user-level model of the GUI's workflow, called an event-flow graph (EFG). We have implemented automated EDG construction in a tool that analyzes the bytecode of each event handler. We evaluate our "grey-box" approach using four open-source applications and compare it with the current state-of-the-art EFG approach. Our results show that using the EDG reduces the number of test cases while still achieving at least the same coverage. Furthermore, we were able to detect 2 new bugs in the subject applications.

研究の動機と目的

• GUIテストケース生成における組み合わせ的爆発の課題に対処するため、無関係または実行不能なイベントシーケンスの数を削減すること。
• イベントハンドラ間のデータ依存関係をテスト生成プロセスに組み込むことで、テストの効率性と有効性を向上させること。
• より標的的で意味的に意味のあるテストシーケンスを生成することで、以前に発見されていなかったバグを検出すること。
• より正確なテストケース生成のため、ブラックボックスGUIモデリングとホワイトボックスコード解析のギャップを埋めること。

提案手法

• GUIワークフローの構造的制約をモデル化するため、実行時観察を用いてイベントフローグラフ（EFG）を構築する。
• アプリケーションのバイトコードを分析して、イベントハンドラ間のデータフローを捉えるイベント依存性グラフ（EDG）を自動的に構築する。
• EDGにおける重み付きエッジとしてデータ依存関係をモデル化し、重みはハンドラ間を移動するフィールドの数を表す。
• EDG上でミニマックス探索を実行して抽象的イベントシーケンスを生成し、データ依存関係を持つシーケンスを優先する。
• EFGを用いてEDGからの抽象的シーケンスを実行可能シーケンスにマッピングし、構造的妥当性を保証する。
• 得られた実行可能シーケンスをテストケースに統合し、構造的妥当性とデータ依存関係の連鎖を両方保証する。

実験結果

リサーチクエスチョン

• RQ1 イベントハンドラ間のデータ依存関係をモデル化するグレーエックスアプローチは、カバレッジを維持しながら生成されるテストシーケンスの数を削減できるか？
• RQ2 イベント依存性グラフ（EDG）とイベントフローグラフ（EFG）の統合は、テストスイートの効率性をどのように向上させるか？
• RQ3 EDGベースの手法は、GUIアプリケーションにおいて、新たなバグや以前に見逃されていたバグをどの程度検出できるか？
• RQ4 この手法は、プロシージャ間の高いデータ依存関係を持つ「ホットスポット」イベントを特定し、優先順位をつけることができるか？

主な発見

• EDGベースのアプローチは、EFGオンリーブラックボックスアプローチと比較して、生成されるイベントシーケンスの数を削減し、効率性を向上させた。
• 本手法は、EFGアプローチと同等以上のテストカバレッジを達成しながら、より少ないテストケースを生成した。
• 被験アプリケーションで2件の新しいバグを発見した—1件はRachota、もう1件はJabRefに発見された—、これにより故障検出能力の向上が実証された。
• 本手法は、データ依存関係にのみ依存するイベントを効果的に連結し、実行不能または意味的に無関係なシーケンスを回避した。
• EDG上でミニマックス探索を用いることで、GUI内での高影響度でデータ依存性のあるパスの焦点的な探索が可能になった。
• EFGとEDGの組み合わせモデリングにより、スケーラブルで正確かつ効果的なGUIテストケース生成が可能になった。