[논문 리뷰] Automated Test Input Generation for Android: Are We There Yet?

Shauvik Roy Choudhary, Alessandra Gorla외 1명|arXiv (Cornell University)|2015. 03. 24.

Advanced Malware Detection Techniques참고 문헌 24인용 수 36

한 줄 요약

이 논문은 실질적인 애플리케이션을 대상으로 한 광범위한 실증 연구를 통해 안드로이드 앱의 자동화된 테스트 입력 생성 도구 12종을 평가한다. 평가 기준은 코드 커버리지, 결함 탐지, 다중 플랫폼 호환성, 사용 편의성이다. 연구 결과, 도구들 간의 효과성에 큰 격차가 있음에도 불구하고, 복제 가능한 테스트 케이스나 적절한 모킹 기능을 지원하지 않아, 향후 테스트 도구의 신뢰성 및 개발자 사용성 향상에 있어 핵심적 여건이 부족함을 드러낸다.

ABSTRACT

Mobile applications, often simply called "apps", are increasingly widespread, and we use them daily to perform a number of activities. Like all software, apps must be adequately tested to gain confidence that they behave correctly. Therefore, in recent years, researchers and practitioners alike have begun to investigate ways to automate apps testing. In particular, because of Android's open source nature and its large share of the market, a great deal of research has been performed on input generation techniques for apps that run on the Android operating systems. At this point in time, there are in fact a number of such techniques in the literature, which differ in the way they generate inputs, the strategy they use to explore the behavior of the app under test, and the specific heuristics they use. To better understand the strengths and weaknesses of these existing approaches, and get general insight on ways they could be made more effective, in this paper we perform a thorough comparison of the main existing test input generation tools for Android. In our comparison, we evaluate the effectiveness of these tools, and their corresponding techniques, according to four metrics: code coverage, ability to detect faults, ability to work on multiple platforms, and ease of use. Our results provide a clear picture of the state of the art in input generation for Android apps and identify future research directions that, if suitably investigated, could lead to more effective and efficient testing tools for Android.

연구 동기 및 목표

• 기존 자동화된 안드로이드 앱 테스트 입력 생성 도구의 효과성을 코드 커버리지, 결함 탐지, 플랫폼 호환성, 사용성 등의 핵심 기준에 따라 평가하는 것.
• 자동화된 안드로이드 애플리케이션 테스팅 분야에서 현재 도구 및 기법의 강점과 약점을 규명하는 것.
• 특히 복제 가능성, 디버깅 지원, 환경 종속성 처리 측면에서 향후 도구 개선을 위한 실질적 통찰을 제공하는 것.
• 모킹, 샌드박싱, 다기기 테스팅 기능 등 누락된 기능을 부각시켜 향후 연구 방향을 안내하는 것.
• 모든 실험 데이터와 인프라 구조를 공개함으로써 연구의 재현 및 확장 가능성을 보장하는 것.

제안 방법

• 연구는 60개 이상의 실제 안드로이드 애플리케이션에 대해 12종의 대표적 테스트 입력 생성 도구를 평가하였다.
• 코드 커버리지는 테스트 실행 중 문장 및 분기 커버리지를 추적하기 위해 자체 구현한 인스트루멘테이션 프레임워크를 사용하여 측정하였다.
• 결함 탐지는 런타임 예외가 발생했는지 로깅하고, 수동 및 자동 검증을 통해 실제 실패 여부를 확인함으로써 평가하였다.
• 다중 플랫폼 호환성은 여러 안드로이드 프레임워크 버전(예: 4.1, 4.4, 5.0)에서 도구를 실행하여 평가하였다.
• 사용 편의성은 설치 복잡도, 설정 요구 사항, 각 도구를 실행하기 위해 필요한 수동 작업의 양을 기반으로 평가하였다.
• 실패 보고서와 스택 트레이스를 수동으로 점검하여, 에뮬레이터나 도구의 한계로 인한 오류인지 실제 결함인지 구분하는 절차를 포함하였다.

실험 결과

연구 질문

• RQ1 다양한 실제 애플리케이션에서 기존 자동화된 안드로이드 테스트 입력 생성 도구의 코드 커버리지 수준은 어떻게 비교되는가?
• RQ2 이 도구들은 실제 결함을 어느 정도 탐지할 수 있으며, 보고된 실패의 신뢰성은 어느 정도인가?
• RQ3 이 도구들은 여러 안드로이드 플랫폼 버전에서 얼마나 잘 작동하는가? 특히 다중 버전 테스팅에 대한 영향은 무엇인가?
• RQ4 실제 개발 워크플로우에 도구를 구현할 때 발생하는 실질적 사용 편의성 문제들은 무엇인가?
• RQ5 현재 도구에서 부족한 핵심 기능은 무엇이며, 이는 도구의 효과성 향상과 개발자 수용에 큰 영향을 미칠 수 있는가?

주요 결과

• 모든 도구에서 복제 가능한 테스트 케이스를 지원하지 않으며, 실패는 실행 가능한 테스트 스크립트 없이 로그 파일로만 보고되어 디버깅 및 재현을 어렵게 한다.
• 대부분의 도구가 적절한 샌드박싱을 제공하지 않아, 실제 이메일을 발송하거나 사용자 데이터를 수정하는 등의 의도하지 않은 부작용이 발생할 위험이 있다.
• 모든 도구가 다기기 또는 다구성 테스팅을 전용으로 설계하지 않아, 안드로이드의 잘 알려진 분할 문제를 고려하지 못하고 있다.
• 사용자가 수동으로 입력을 제공할 수 있는 기능(예: 로그인 자격 정보)은 다이노드로이드와 GUIRipper와 같은 몇몇 도구에만 존재하며, 이는 복잡한 UI 상태 탐색에 크게 기여한다.
• 콘텐츠 프로바이더 및 시스템 서비스에 대한 모킹 지원이 부족하여 커버리지 향상이 저해되며, 특히 K-9 메일과 같은 앱에 있어 매우 중요하다.
• 일부 경우에 높은 코드 커버리지가 달성되었음에도 불구하고, 결함 탐지 능력은 일관되지 않으며, 많은 보고된 예외는 실제 애플리케이션 버그보다는 에뮬레이터 한계로 인한 것으로 보인다.