[논문 리뷰] Target Directed Event Sequence Generation for Android Applications

Jiwei Yan, Tianyong Wu외 2명|arXiv (Cornell University)|2016. 07. 12.

Software Testing and Debugging Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 뷰 상태, 백 스택 동작, 코드 수준의 레이블을 캡처하여 특정 코드 영역을 타겟으로 하는 테스트 생성을 가능하게 하는 동적 모델 LATTE를 제안한다. 상태 유사도를 사용하여 상태 폭발을 줄이고, 레이블을 통해 이벤트를 코드 스니펫에 연결함으로써 LATTE는 더 짧고 고도로 커버리지된 테스트 시퀀스를 생성한다. 이는 랜덤 탐색에 비해 효율성이 뛰어나면서도 최신 기술 수준의 커버리지와 동등한 성능을 보인다.

ABSTRACT

Testing is a commonly used approach to ensure the quality of software, of which model-based testing is a hot topic to test GUI programs such as Android applications (apps). Existing approaches mainly either dynamically construct a model that only contains the GUI information, or build a model in the view of code that may fail to describe the changes of GUI widgets during runtime. Besides, most of these models do not support back stack that is a particular mechanism of Android. Therefore, this paper proposes a model LATTE that is constructed dynamically with consideration of the view information in the widgets as well as the back stack, to describe the transition between GUI widgets. We also propose a label set to link the elements of the LATTE model to program snippets. The user can define a subset of the label set as a target for the testing requirements that need to cover some specific parts of the code. To avoid the state explosion problem during model construction, we introduce a definition "state similarity" to balance the model accuracy and analysis cost. Based on this model, a target directed test generation method is presented to generate event sequences to effectively cover the target. The experiments on several real-world apps indicate that the generated test cases based on LATTE can reach a high coverage, and with the model we can generate the event sequences to cover a given target with short event sequences.

연구 동기 및 목표

• 기존 모델이 런타임 GUI 변경 사항과 안드로이드 전용 메커니즘인 백 스택을 포괄하지 못하는 한계를 해결하기 위해.
• 레이블 세트를 통해 GUI 전이를 특정 코드 스니펫에 연결하여 타겟 지향 테스트 생성을 지원하기 위해.
• 정확성과 성능의 균형을 고려하여 상태 유사도 메트릭을 적용하여 동적 모델 구축 중 상태 폭발을 줄이기 위해.
• 특정 코드 영역에 대해 효율적이고 고도로 커버리지된 테스트 케이스 생성을 가능하게 하기 위해.
• 소스 코드가 필요 없이 APK 파일에 직접 작용하는 동적이고 코드에 종속되지 않는 모델 구축 방법을 제공하기 위해.

제안 방법

• 런타임 GUI 상태, 백 스택 정보, 이벤트 트리거된 코드 스니펫을 수집하기 위해 안드로이드 앱을 동적으로 인스트루먼트한다.
• 각 상태를 뷰 정보, 뷰 상태, 백 스택 상태의 튜플로 표현하여 LATTE 모델을 구축한다.
• 특정 코드 스니펫을 GUI 전이에 매핑하기 위한 레이블 세트를 정의하여 타겟 지향 테스트를 가능하게 한다.
• 의미적으로 유사한 상태를 병합하여 모델 크기와 분석 비용을 줄이기 위해 상태 유사도 메트릭을 적용한다.
• 사용자가 정의한 타겟 레이블을 커버하는 경로에 도달하기 위해 LATTE 모델을 탐색하여 테스트 시퀀스를 생성한다.
• 생성된 이벤트 시퀀스를 실행하고 커버리지를 검증하기 위해 테스팅 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 안드로이드 앱을 위한 GUI 모델을 개선하여 런타임 동안 동적 뷰 변경 사항과 백 스택 동작을 포괄할 수 있는가?
• RQ2 GUI 전이를 어떻게 의미적으로 기반 코드 스니펫에 연결하여 타겟 지향 테스트를 지원할 수 있는가?
• RQ3 동적 모델 구축 중 상태 폭발 문제를 효과적으로 줄일 수 있는 메커니즘은 무엇인가?
• RQ4 모델 기반 테스트 생성 접근법이 랜덤 테스트와 비교해 훨씬 짧은 테스트 시퀀스로 동등한 코드 커버리지를 달성할 수 있는가?
• RQ5 제안된 모델은 실제 안드로이드 애플리케이션에서 특정 코드 영역에 대해 효율적이고 타겟 지향적인 테스트 생성을 어느 정도 지원할 수 있는가?

주요 결과

• LATTE 모델은 동적 GUI 상태와 백 스택 동작을 성공적으로 캡처하여 이전 모델보다 더 정확한 안드로이드 앱 실행 표현을 가능하게 한다.
• 레이블 세트의 사용은 특정 코드 영역을 정밀하게 타겟팅할 수 있게 하여 개발자가 핵심 또는 최신 수정된 코드에 집중할 수 있도록 한다.
• 상태 유사도 메트릭은 커버리지 손실 없이 모델 크기와 분석 비용을 효과적으로 줄여 상태 폭발 문제를 완화한다.
• LATTE를 사용해 생성된 테스트 케이스는 Monkey 및 Dynodroid와 같은 최신 기술 수준의 도구와 동등한 코드 커버리지를 달성하지만, 훨씬 짧은 이벤트 시퀀스를 사용한다.
• 이 방법은 실제 안드로이드 애플리케이션에서 실용적인 효과를 보이며, 타겟 지향 테스트 생성이 실현 가능하고 효율적임을 입증한다.