[論文レビュー] How do Developers Test Android Applications?

Mario Linares Vasquez, Carlos Bernal-Cárdenas+2 more|arXiv (Cornell University)|Jan 19, 2018

Software Testing and Debugging Techniques参考文献 41被引用数 9

ひとこと要約

本研究では、GitHubにホストされている102名のオープンソースAndroid開発者を対象としたアンケート調査を通じて、実世界のテスト実践を調査し、より効果的な自動テストツールの設計を支援することを目的としている。その結果、開発者は上位レベルのユースケースベースのテストケースを好むことが明らかになった。また、コードカバレッジを品質指標として信頼せず、自動テストツールにおける再現性やデバッグのしやすさの問題から、手動テストを好む傾向がある。これは、研究用ツールと開発者のニーズの間には顕著なギャップがあることを示している。

ABSTRACT

Enabling fully automated testing of mobile applications has recently become an important topic of study for both researchers and practitioners. A plethora of tools and approaches have been proposed to aid mobile developers both by augmenting manual testing practices and by automating various parts of the testing process. However, current approaches for automated testing fall short in convincing developers about their benefits, leading to a majority of mobile testing being performed manually. With the goal of helping researchers and practitioners - who design approaches supporting mobile testing - to understand developer's needs, we analyzed survey responses from 102 open source contributors to Android projects about their practices when performing testing. The survey focused on questions regarding practices and preferences of developers/testers in-the-wild for (i) designing and generating test cases, (ii) automated testing practices, and (iii) perceptions of quality metrics such as code coverage for determining test quality. Analyzing the information gleaned from this survey, we compile a body of knowledge to help guide researchers and professionals toward tailoring new automated testing approaches to the need of a diverse set of open source developers.

研究の動機と目的

• オープンソースAndroid開発者の実世界におけるテスト実践と好みを理解し、今後の自動テストツール開発を支援すること。
• 膨大な研究努力にもかかわらず、既存の自動テストツールが低利用率にとどまっている理由を特定すること。
• 特にコードカバレッジを含むテスト品質指標に対する開発者の認識を調査し、代替指標の好みを明らかにすること。
• アジャイルワークフローへの統合を促進する自動テストツールに求められる主要な要件を特定すること。
• 研究者および実務家が、実際の開発者のニーズとワークフローに合った自動テストアプローチを整えるための実行可能なインサイトを提供すること。

提案手法

• GitHubにホストされているオープンソースAndroidプロジェクトの102名のアクティブな貢献者を対象にアンケートを実施した。
• テストケース設計および生成、自動テスト実践、テスト品質指標の認識の3つの主要分野に焦点を当てた。
• テストケース表現の好み、ツール使用パターン、コードカバレッジや故障検出率といった評価基準に関するデータを収集した。
• 開発者のワークフロー、ツール好み、自動化導入の障壁を特定するため、回答を分析した。
• 定性的および定量的分析を用いて、開発者が自動テストツールに期待する点を抽出した。
• 既存の研究と照らし合わせることで、理論的ツールの機能と実際の開発者ニーズの間のギャップを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 Android開発者は、実世界のオープンソースプロジェクトにおいて、通常どのようにテストケースを設計・生成しているか？
• RQ2 Androidアプリケーション向けの自動テストツールを使用する際、開発者が直面する主な好みと課題は何か？
• RQ3 開発者はコードカバレッジをテストスイートの品質指標としてどのように認識しており、どのような代替指標を好むか？
• RQ4 再現性やデバッグのしやすさの観点から、実際の現場で受け入れられやすく使いやすい自動テストケースの特徴は何か？
• RQ5 実世界のAndroid開発ワークフローにうまく統合できるようにするため、自動テストツールが従うべき設計原則は何か？

主な発見

• 約64％の開発者が、コードカバレッジをテストケース品質の信頼性ある指標または重要なものとは考えていない。代わりに、機能カバレッジや故障検出率といった指標を好んでいる。
• 開発者は、ユースケースやユーザーストーリーを中心に整理された高レベルで表現力のあるテストケースを強く好む。これは、モデルベースまたは使用状況モデル駆動のテスト生成のニーズを示している。
• 自動テストツールが利用可能でも、再現性の問題、自動化APIの脆さ、自動テストケースにおけるデバッグ支援の不足といった懸念から、手動テストが依然として主流である。
• 広く知られたランダムテストツールであるAndroid Monkeyは、調査対象の開発者において低い使用率にとどまっており、そのシンプルさにもかかわらず実用的導入は限定的であることが示唆された。
• アプリケーションとともに進化するテストケースで、アジャイルワークフローにスムーズに統合できることが開発者に高く評価されており、低コストかつ保守性の高いテストが求められている。
• 現在の自動テストに関する研究と実際の開発者実践との間に顕著な不一致がある。特に、テストケースの表現力、デバッグのしやすさ、ツール統合の面で顕著である。