[논문 리뷰] DroidWalker: Generating Reproducible Test Cases via Automatic Exploration of Android Apps

Ziniu Hu, Yun Ma외 1명|arXiv (Cornell University)|2017. 10. 24.

Software Testing and Debugging Techniques참고 문헌 11인용 수 4

한 줄 요약

DroidWalker는 동적적응형 모델을 구축하여 충분한 분해능으로 앱 상태를 추상화함으로써, Android 앱에 대한 재현 가능한 테스트 케이스를 생성하는 동적 분석 도구이다. 이는 버그나 충돌을 재현하기 위해 정밀하게 테스트 케이스를 재실행할 수 있도록 하며, 회귀 테스팅과 다중 환경 검증을 지원한다.

ABSTRACT

Generating test cases through automatic app exploration is very useful for analyzing and testing Android apps. However, test cases generated by current app-exploration tools are not reproducible, i.e. when the generated test case is re-executed, the app cannot reach the same state as the explored one. As a result, app developers are not able to reproduce the failure or crash reported during the exploration, to conduct regression test after fixing the bug, or to execute the same test in different environments. In this paper, we present DroidWalker, a dynamic-analysis tool to generate reproducible test cases for Android apps. The key design of our tool is a dynamic-adaptive model that can abstract the app state in a proper granularity so every state in the model can be reached afterwards. Given an app under test, DroidWalker first explores the app to build the model. Then developers can select the state in the model to be reproduced. Finally, DroidWalker executes all the generated test cases and the app could reach exactly the same state as the explored one. We apply DroidWalker in three real usage scenarios to demonstrate its practical usage. The video of our tool is at https://youtu.be/ndUD8Gxs800.

연구 동기 및 목표

• 기존의 자동 Android 앱 탐색 도구가 생성하는 테스트 케이스에서의 재현 불가능성 문제를 해결한다.
• 개발자가 충돌과 UI 상태를 신뢰할 수 있게 재현하여 디버깅 및 회귀 테스팅을 지원한다.
• 사용자 정의 모니터링 및 탐지 기능을 통해 상용 Android 앱의 탐색을 지원한다.
• BFS 탐색을 사용하여 목표 상태에 도달하는 최단 경로 테스트 시퀀스를 생성하는 메커니즘을 제공한다.
• 다른 실행 환경 간에 동일한 상태 재진입을 보장함으로써 다중 환경 테스팅을 촉진한다.

제안 방법

• 앱 탐색 중에 적절한 분해능으로 소프트웨어 상태를 포착할 수 있도록 동적적응형 모델을 구축한다.
• 목표 상태에 최소 단계 내에서 도달하는 이벤트 시퀀스를 생성하기 위해 너비 우선 탐색(BFS)을 사용한다.
• UI 레이아웃 이동에도 불구하고 정확한 위젯 타겟팅을 보장하기 위해 의미론적 인식을 갖춘 이벤트 트레이스를 기록한다.
• 로그, 예외 또는 특정 행동을 모니터링하기 위한 플러그인 클래스를 통한 사용자 정의 탐지 기능을 통합한다.
• 모델 기반 상태 참조를 사용하여 테스트 케이스를 저장하고 재실행함으로써, 재실행 시 동일한 앱 상태에 도달하도록 보장한다.
• 절대적인 화면 좌표가 아닌 모델 정의 상태 식별자에 의존함으로써, 다른 기기나 에뮬레이터에서 테스트 케이스의 재실행을 지원한다.

실험 결과

연구 질문

• RQ1 동적적응형 모델을 구성하여 Android 앱 탐색에서 재현 가능한 테스트 케이스 생성이 가능한가?
• RQ2 소규모 UI 변경에도 불구하고 특정 앱 상태에 신뢰성 있게 도달하는 이벤트 시퀀스는 어떻게 생성할 수 있는가?
• RQ3 기존의 모델 기반 도구에 비해 DroidWalker는 더 높은 코드 커버리지와 상용 Android 앱 탐색에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 사용자 정의 모니터링 기능은 탐색 파이프라인에 효과적으로 통합되어 특정 결함이나 예외를 탐지할 수 있는가?
• RQ5 DroidWalker는 다양한 실행 환경에서 충돌 재현 및 회귀 테스팅에 얼마나 효과적인가?

주요 결과

• DroidWalker는 동적적응형 분해능으로 앱 상태를 모델링함으로써 재현 가능한 테스트 케이스를 성공적으로 생성하였으며, 다양한 환경 간에 일관된 재실행을 보장한다.
• 기존의 모델 기반 탐색 도구에 비해 더 높은 코드 커버리지를 달성하였으며, 이는 복잡한 상용 앱인 Fitbit을 탐색한 데서 입증되었다.
• Fitbit 탐색 중에 두 가지 핵심 예외를 탐지하였는데, 각각 java.lang.UnsupportedOperationException 및 java.io.FileNotFoundException이었으며, 모두 재실행 시 재현 가능했다.
• DroidWalker는 UI 상태 번호 6로 이동함으로써 java.io.FileNotFoundException을 정밀하게 재현하였으며, 재실행 시 동일한 충돌이 발생했음을 확인했다.
• 예외 수집기(ExceptionCollector) 클래스와 같은 사용자 정의 탐지 기능이 성공적으로 구현되어 logcat 출력을 모니터링하고 탐색 중 자동 결함 탐지를 가능하게 하였다.
• DroidWalker의 BFS 기반 테스트 케이스 생성은 목표 상태에 도달하는 최단 경로 시퀀스를 생성하여 효율적이고 결정적인 상태 재진입을 보장했다.