[논문 리뷰] A Deep Learning based Approach to Automated Android App Testing.

Yuanchun Li, Ziyue Yang외 2명|arXiv (Cornell University)|2019. 01. 09.

Software Testing and Debugging Techniques참고 문헌 29인용 수 14

한 줄 요약

이 논문은 UI 트레이스에서 인간과 유사한 상호작용 패턴을 학습하는 딥러닝 기반 접근법인 Humanoid를 제안한다. 이는 안드로이드 앱의 효과적인 테스트 입력을 생성하기 위해 개발된다. 시각적 UI 기능과 상태 전이를 활용함으로써, 최신의 랜덤 또는 브루트포스 생성기보다 더 빠르게 높은 테스트 커버리지를 달성한다.

ABSTRACT

Automated input generators are widely used for large-scale dynamic analysis and testing of mobile apps. Such input generators must constantly choose which UI element to interact with and how to interact with it, in order to achieve high coverage with a limited time budget. Currently, most input generators adopt pseudo-random or brute-force searching strategies, which may take very long to find the correct combination of inputs that can drive the app into new and important states. In this paper, we propose Humanoid, a deep learning-based approach to automated Android app testing. Our insight is that if we can learn from human-generated interaction traces, it is possible to generate human-like test inputs based on the visual information in the current UI state and the latest state transitions. We design and implement a deep neural network model to learn how end-users would interact with an app (specifically, which UI elements to interact with and how), and show that we can successfully generate human-like inputs for any new UI based on the learned model. We then apply the model to automated testing of Android apps and demonstrate that it is able to reach higher coverage, and faster as well, than the state-of-the-art test input generators.

연구 동기 및 목표

• 현재의 의사난수 또는 브루트포스 입력 생성 전략이 안드로이드 앱 테스팅에서 비효율적임을 해결하기 위해.
• 인간이 생성한 UI 상호작용 트레이스에서 사용자 상호작용 패턴을 학습하여 향상된 테스트 입력 합성 기법을 개발하기 위해.
• 시각적 상태와 최근 전이 상태를 바탕으로 최적의 UI 상호작용을 예측할 수 있는 모델을 개발하기 위해.
• 학습된 모델이 새로운 UI에 일반화되어 테스트 커버리지와 효율성을 향상시킬 수 있는지 평가하기 위해.

제안 방법

• 현재 UI의 시각적 표현과 최근 상태 전이를 입력으로 사용하는 딥 네ural 네트워크를 설계하기 위해.
• UI 요소를 상호작용할 대상과 상호작용 유형(예: 클릭, 입력)을 예측하기 위해 인간 상호작용 트레이스로 모델을 훈련시키기 위해.
• UI에서 추출한 시각적 임베딩을 사용해 현재 상태를 표현함으로써, 미리 보지 못한 UI 레이아웃으로의 일반화를 가능하게 하기 위해.
• 상호작용 시퀀스의 시간적 의존성을 활용하여 시간에 따라 변화하는 사용자 행동 패턴을 모델링하기 위해.
• 학습된 모델을 사용해 새로운 안드로이드 앱의 자동 테스팅 동안 테스트 입력을 생성하기 위해.
• 기준 생성기와의 비교를 위해 표준 커버리지 메트릭과 실행 시간을 사용해 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 인간 상호작용 트레이스로 훈련된 딥러닝 모델이 새로운 안드로이드 앱 상태에서 의미 있는 UI 상호작용을 효과적으로 예측할 수 있는가?
• RQ2 모델 기반 테스트 입력 전략이 랜덤 또는 브루트포스 접근 방식보다 더 높은 코드 커버리지를 달성하는가?
• RQ3 커버리지 속도와 완전성 측면에서 최신의 입력 생성기와 비교해 모델의 성능은 어떠한가?
• RQ4 학습 중에 볼 수 없었던 새로운 UI 레이아웃에 대해 모델이 얼마나 잘 일반화되는가?

주요 결과

• Humanoid는 동일한 시간 예산 내에서 기존의 입력 생성기보다 유의미하게 높은 코드 커버리지를 달성한다.
• 모델은 인간 트레이스에서 효율적인 탐색 패턴을 학습함으로써 고도의 커버리지에 도달하는 데 필요한 시간을 줄인다.
• 새로운 UI에 대해 잘 일반화되며, 다양한 앱 인터페이스에서 뛰어난 강건성을 보여준다.
• 앱 소스 코드가 필요 없이도 시각적 및 순차적 상태 정보를 활용해 사용자와 유사한 상호작용을 정확하게 예측할 수 있다.