[論文レビュー] DroidWalker: Generating Reproducible Test Cases via Automatic Exploration of Android Apps

Ziniu Hu, Yun Ma+1 more|arXiv (Cornell University)|Oct 24, 2017

Software Testing and Debugging Techniques参考文献 11被引用数 4

ひとこと要約

DroidWalkerは、十分な粒度でアプリの状態を抽象化する動的適応モデルを構築することで、Androidアプリの再現可能なテストケースを生成する動的解析ツールです。このツールにより、クラッシュやバグの再現が正確に行える再実行が可能となり、レグRESSIONテストやクロス環境検証を支援します。

ABSTRACT

Generating test cases through automatic app exploration is very useful for analyzing and testing Android apps. However, test cases generated by current app-exploration tools are not reproducible, i.e. when the generated test case is re-executed, the app cannot reach the same state as the explored one. As a result, app developers are not able to reproduce the failure or crash reported during the exploration, to conduct regression test after fixing the bug, or to execute the same test in different environments. In this paper, we present DroidWalker, a dynamic-analysis tool to generate reproducible test cases for Android apps. The key design of our tool is a dynamic-adaptive model that can abstract the app state in a proper granularity so every state in the model can be reached afterwards. Given an app under test, DroidWalker first explores the app to build the model. Then developers can select the state in the model to be reproduced. Finally, DroidWalker executes all the generated test cases and the app could reach exactly the same state as the explored one. We apply DroidWalker in three real usage scenarios to demonstrate its practical usage. The video of our tool is at https://youtu.be/ndUD8Gxs800.

研究の動機と目的

• 既存の自動Androidアプリ探索ツールが生成するテストケースにおける重大な再現不能性の問題を解決すること。
• 開発者がクラッシュやUI状態を信頼性高く再現し、デバッグやレグRESSIONテストに活用できるようにすること。
• 商業的なAndroidアプリの探索を、カスタマイズ可能な監視および検出機能で可能にすること。
• BFS走査を用いて、目的のアプリ状態に到達する最短パスのイベントシーケンスを生成するメカニズムを提供すること。
• 異なる実行環境間で同一の状態に再入力できるよう保証することで、クロス環境テストを容易にすること。

提案手法

• アプリ探索中に、微小なUI変更に耐えられる適切な粒度でアプリの状態を捉える動的適応モデルを構築する。
• 到達すべき状態に最小ステップで到達するイベントシーケンスを、幅優先探索（BFS）を用いて生成する。
• UIレイアウトの変更があっても正しいウィジェットターゲティングが保証されるように、意味的認識を持つイベントトレースを記録する。
• プラグインクラスを介してカスタマイズ可能な検出関数を統合し、探索中にログ、例外、または特定の動作を監視する。
• モデルベースの状態参照を用いてテストケースを保存・再実行し、再実行時にも同じアプリ状態に到達することを保証する。
• 絶対的な画面座標ではなく、モデルで定義された状態識別子に依存することで、異なるデバイスやエミュレータ上でのテストケース再実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的適応的粒度でアプリ状態をモデル化することで、Androidアプリ探索における再現可能なテストケース生成が可能になるか？
• RQ2 微小なUI変更があっても、特定のアプリ状態に信頼性高く到達するイベントシーケンスはどのように生成できるか？
• RQ3 DroidWalkerは、既存のモデルベースのツールと比較して、より高いコードカバレッジを達成し、商業的なAndroidアプリをどれほど効果的に探索できるか？
• RQ4 カスタマイズ可能な監視関数は、探索パイプラインに効果的に統合可能か？具体的な欠陥や例外の検出に寄与するか？
• RQ5 DroidWalkerは、異なる実行環境間でクラッシュの再現性を確保し、レグRESSIONテストを効果的に行えるか？

主な発見

• DroidWalkerは、動的適応的粒度でアプリ状態をモデル化することで、再現可能なテストケースを効果的に生成し、異なる環境間でも一貫した再実行を実現した。
• 本研究で示されたように、複雑な商業アプリ（例：Fitbit）の探索において、既存のモデルベース探索ツールよりも高いコードカバレッジを達成した。
• Fitbitの探索中に、java.lang.UnsupportedOperationExceptionおよびjava.io.FileNotFoundExceptionの2つの深刻な例外を検出できた。両方の例外は再実行時にも再現可能であった。
• DroidWalkerは、UI状態番号6に到達することで、java.io.FileNotFoundExceptionを正確に再現でき、再実行時にも同じクラッシュが発生することを確認した。
• ExceptionCollectorクラスのようなカスタム検出関数は、正常に実装され、logcat出力の監視に使用され、探索中に自動的に欠陥を検出することができた。
• DroidWalkerのBFSベースのテストケース生成により、目的の状態への最短パスのシーケンスが得られ、効率的かつ決定論的な状態再入力が実現された。