[論文レビュー] A Systematic Literature Review of Automated Techniques for Functional GUI Testing of Mobile Applications

Yauhen Leanidavich Arnatovich, Lipo Wang|arXiv (Cornell University)|Dec 30, 2018

Software Testing and Debugging Techniques参考文献 79被引用数 4

ひとこと要約

本系統的文献レビューでは、モバイルアプリ用の自動化された機能的GUIテストに関する25件の一次研究を評価し、有効性、効率性、実用性を分析した。現在の技術は有効性が約50%にとどまり、非効率的（1アプリあたり30分以上かかることが一般的）であり、有効性と効率性のトレードオフのため、実用性も約50%にとどまっている。これにより、モデル圧縮と知的な入力生成の向上が求められることが示された。

ABSTRACT

Context. Multiple automated techniques have been proposed and developed for mobile application GUI testing aiming to improve effectiveness, efficiency, and practicality. The effectiveness, efficiency, and practicality are 3 fundamental characteristics which testing techniques are built upon, and need to be continuously improved to deliver useful solutions for researchers and practitioners, and community as a whole. Objective. In this systematic review, we attempt to provide a broad picture of existing mobile testing tools by collating and analysing their conceptual, and also performance characteristics including an estimation of effectiveness, efficiency, and practicality. Method. To achieve our objective, we specify 3 primary, and 14 secondary review questions, and conducted an analysis of 25 primary studies. We first individually analyse each primary study, and next analyse the primary studies as a whole. We developed a review protocol which defines all the details of our systematic review. Results. From effectiveness, we conclude that testing techniques which implement model-checking, symbolic execution, constraint solving, and search-based test generation approach tend to be more effective than those implementing random test generation. From efficiency, we conclude that testing techniques which implement code search-based testing approaches tend to be more efficient than those implementing GUI model-based. From practicality, we conclude that the more effective a testing technique is, the less efficient it will be. Conclusion. For effectiveness, we observe that the existing automated testing techniques are not effective enough, and currently they achieve nearly half of the desired level of effectiveness. For efficiency, we observe that current automated testing techniques are not efficient enough.

研究の動機と目的

• モバイルアプリケーション向けの自動化された機能的GUIテスト技術の現状を評価すること。
• 既存の自動テストツールの有効性、効率性、実用性を評価すること。
• 特に入力生成とモデルの複雑さに関するテスト生成アプローチのギャップを同定すること。
• 入力の多様性やモデルのスケーラビリティといった、未発展分野を明らかにすることで、今後の研究を導くこと。

提案手法

• 定められたプロトコルに従い、3つの一次的および14の二次的レビュー質問を用いて系統的文献レビューを実施した。
• 関連性と質の基準に基づく厳密な含む・除外基準を用い、25件の一次研究を選定した。
• 各研究を個別に分析した後、概念的および性能的特徴を評価するために総合的に分析した。
• 研究の質を評価するためのカスタム品質評価スケールを用い、複数名によるレビューコンセンサスにより人為的バイアスを最小限に抑えた。
• 有効性（例：モデル検査対比ランダムテスト）、効率性（例：コード検索対比GUIモデルベース）、実用性（実世界での使いやすさ）の観点から、結果をマッピングした。
• 一次研究の研究設計および結果の議論を分析することで、妥当性の脅かし要因を評価した。

実験結果

リサーチクエスチョン

• RQ1 モバイルアプリケーション向けの自動化されたGUIテスト技術の中で、最も有効なものは何か。また、テストカバレッジおよび故障検出の観点から、それらはどのように比較できるか。
• RQ2 既存の自動テスト技術は、1アプリケーションあたりの実行時間およびリソース使用量の観点から、どの程度効率的か。
• RQ3 現在のモバイルGUIテストツールが実世界の環境で実用的（または非実用的）である要因は何か。
• RQ4 さまざまなテスト生成戦略（例：記号実行、ランダム入力、探索ベース）は、有効性と効率性にどのように影響するか。
• RQ5 現在のアプローチにおける主な制限要因は何か。特に、入力生成とモデルの複雑さの観点から説明せよ。

主な発見

• モデル検査、記号実行、制約解決、探索ベースのテスト生成は、ランダムテスト生成よりも高い有効性を示した。
• コード検索ベースのテストアプローチは、GUIモデルベースのアプローチよりも効率的であり、後者は高いオーバーヘッドを伴う。
• 既存の技術は、望ましい有効性レベルの約50％にとどまっているため、故障検出能力に顕著なギャップがあることが示された。
• ほとんどの自動テスト技術は、1アプリケーションあたり30分以上を要し、一部は数時間にわたることもあり、効率性が低いことが示された。
• 有効性と効率性のトレードオフのため、テスト対象ツールの約半数が実世界での使用には実用的でない。
• 自動テキスト入力生成は未だに発展が不十分であり、多くのツールがランダムテキストに依存しているため、有効性が制限されている。