[論文レビュー] Continuous, Evolutionary and Large-Scale: A New Perspective for Automated Mobile App Testing

Mario Linares Vasquez, Kevin Moran+1 more|arXiv (Cornell University)|Jan 19, 2018

Green IT and Sustainability参考文献 42被引用数 16

ひとこと要約

本論文は、三つの根幹的原則である継続的（Continuous）、進化的（Evolutionary）、大規模（Large-scale）（CEL）に基づく、自動化されたモバイルアプリテストの新しいビジョンを提唱する。本研究では、現在のツールが抱える主な限界——自動オラクルの欠如、テストケースの進化、スケーラビリティ——を解消するため、コードリポジトリ、ユーザーレビュー、実行トレースのマイニングを統合することで、実世界の開発ワークフローに実用的でスケーラブルかつ適応可能なテストを実現する、完全自動化されたテストフレームワークの構築に向けた研究アジェンダを提示する。

ABSTRACT

Mobile app development involves a unique set of challenges including device fragmentation and rapidly evolving platforms, making testing a difficult task. The design space for a comprehensive mobile testing strategy includes features, inputs, potential contextual app states, and large combinations of devices and underlying platforms. Therefore, automated testing is an essential activity of the development process. However, current state of the art of automated testing tools for mobile apps poses limitations that has driven a preference for manual testing in practice. As of today, there is no comprehensive automated solution for mobile testing that overcomes fundamental issues such as automated oracles, history awareness in test cases, or automated evolution of test cases. In this perspective paper we survey the current state of the art in terms of the frameworks, tools, and services available to developers to aid in mobile testing, highlighting present shortcomings. Next, we provide commentary on current key challenges that restrict the possibility of a comprehensive, effective, and practical automated testing solution. Finally, we offer our vision of a comprehensive mobile app testing framework, complete with research agenda, that is succinctly summarized along three principles: Continuous, Evolutionary and Large-scale (CEL).

研究の動機と目的

• デバイスのフラグメンテーション、進化するプラットフォーム、効果的な自動化の欠如といった課題に起因する、手動テストと自動テストの間の持続的ギャップを解消すること。
• 現在の自動テストツールに内在する根本的限界——不十分な自動オラクル、劣悪なテストケースの進化、限られたスケーラビリティ——を克服すること。
• 実世界のモバイル開発におけるアジャイルおよび継続的インテグレーション（CI）ワークフローを支援する、実用的で包括的な自動テストを可能にすること。
• ソフトウェアリポジトリ、ユーザーレビュー、ランタイム実行トレースといった多様なデータソースを統合し、テスト生成とフィードバックの向上を図ること。
• コミュニティが完全自動化可能でスケーラブルかつ保守可能なモバイルテストエコシステムを構築するための研究アジェンダを策定すること。

提案手法

• 継続的（CI/CDへの統合）、進化的（自動テストケースの適応）、大規模（膨大なデバイスおよびプラットフォームの多様性への対応）の三原則に基づくCELテストフレームワークを提唱する。
• 使用モデルとテスト入力を導出するために、プライバシーに配慮した実行トレースとログを収集するためのプラットフォームアーキテクチャを設計する。
• ハイブリッドGUI表現（画像とテキスト）とプラットフォーム固有の故障モデルを用いて、スケーラブルで正確な自動オラクルを開発する。
• ソフトウェアリポジトリにおける静的および動的解析を活用し、歴史的な開発パターンを抽出し、テストの優先順位を付ける。
• ユーザーレビューをマイニングして繰り返し発生する問題を同定し、実際のユーザーレポートバグに基づいたターゲットテストケースの生成やレグレッションテストの優先順位付けを実現する。
• HCI分野の先進的な可視化およびフィードバックメカニズムを統合し、開発者に実行可能で文脈を踏まえたテスト結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なモバイルアプリタイプおよびプラットフォームにわたり、スケーラブルで正確かつ適応可能な自動オラクルをどのように実現できるか？
• RQ2 アプリのアップデートやユーザー行動の変化に応じて、継続的かつ進化的にテストケースを維持・更新するためのメカニズムは何か？
• RQ3 ソフトウェアリポジトリおよびユーザーレビューからのデータを、自動テスト生成および優先順位付けに効果的にマイニング・統合するにはどうすればよいか？
• RQ4 大規模でデバイスに依存しない、かつプライバシーを保護するテスト実行および分析を支えるために必要なアーキテクチャ的要素は何か？
• RQ5 自動テストからのフィードバックを、開発者にとって実行可能で文脈的に意味のある形でどのように提示できるか？

主な発見

• 現在の自動テストツールは、自動オラクル、テストの進化、スケーラビリティの未解決課題のため、完全自動化された体験を提供できていない。
• 既存のソリューションはしばしば単純なオラクル（例：画面の回転、画像比較）に依存しており、精度と包括性に欠ける。
• ソフトウェアリポジトリおよびユーザーレビューのマイニングは、高影響度のテストケースを同定し、レグレッションテストの優先順位付けを可能にする、未開発の潜在的価値を秘めている。
• 開発者に実行可能で視覚化されたフィードバックを提供するツールの不足が顕著であり、これが実際の自動テスト導入の障壁となっている。
• 実行トレース、コード履歴、ユーザーフィードバックを統合する統合プラットフォームは、大規模かつ適応可能なテストを実現する上で不可欠である。
• 提唱されたCELフレームワークは、完全自動化可能で実用的なモバイルテストエコシステムの実現に向けた、6つの主要トピックを含む体系的な研究アジェンダを提供している。