[논문 리뷰] Automation of Android Applications Testing Using Machine Learning Activities Classification

Ariel Rosenfeld, Odaya Kardashov외 1명|arXiv (Cornell University)|2017. 09. 04.

Software Testing and Debugging Techniques참고 문헌 14인용 수 10

한 줄 요약

이 논문은 자동화된 대상 지향 UI 테스팅을 가능하게 하기 위해 Android 앱 활동을 사전 정의된 유형으로 분류하는 기계학습 기반 프레임워크인 ACAT을 제안한다. 활동의 구조 유사성을 활용하여 ACAT은 각 활동 유형에 맞는 전문화된 테스트를 적용하며, 논리적 버그를 탐지하는 데서 Android Monkey보다 뛰어나다. 심층적으로 심층적으로 삽입된 버그를 모두 발견하고, 기존의 논리적 결함 하나도 발견했으며, Android Monkey는 어떤 버그도 발견하지 못했다.

ABSTRACT

Mobile applications are being used every day by more than half of the world's population to perform a great variety of tasks. With the increasingly widespread usage of these applications, the need arises for efficient techniques to test them. Many frameworks allow automating the process of application testing, however existing frameworks mainly rely on the application developer for providing testing scripts for each developed application, thus preventing reuse of these tests for similar applications. In this paper, we present a novel approach for the automation of testing Android applications by leveraging machine learning techniques and reusing popular test scenarios. We discuss and demonstrate the potential benefits of our approach in an empirical study where we show that our developed testing tool, based on the proposed approach, outperforms standard methods in realistic settings.

연구 동기 및 목표

• Android 앱 테스팅에서 수동으로 작성된 테스트 스크립트의 비효율성과 높은 유지보수 비용을 해결하기 위해.
• 개발자 제공 테스트 스크립트에 대한 의존도를 줄이기 위해 앱 구조를 기반으로 자동 테스트 생성을 가능하게 하기 위해.
• 활동별 테스팅을 통해 Android 애플리케이션의 기능적 및 논리적 버그 탐지 능력을 향상시키기 위해.
• 기계학습을 사용해 앱 활동을 분류하고 자동화된 테스팅을 이끄는 것의 실현 가능성을 입증하기 위해.
• 유사 응용 프로그램 간에 테스트 시나리오를 재사용할 수 있도록 공통 활동 패턴을 식별하기 위해.

제안 방법

• UI 구조와 동작을 기반으로 Android 앱 활동을 일곱 가지 사전 정의된 유형 중 하나로 분류하는 기계학습 모델을 훈련한다.
• 테스트 도구와 안드로이드 디바이스 사이의 상호작용을 위해 Appium 프레임워크를 사용한다.
• TestProject 자동화 플랫폼에 통합된 분류 및 테스팅 파이프라인을 제공하기 위해 ACAT의 애드온을 개발한다.
• 각 분류된 활동에 대해 사전 정의된 활동 유형별 테스트 케이스를 적용하여 예상 동작을 검증한다.
• 실제 테스팅 조건을 시뮬레이션하기 위해 시간 제한(2분) 또는 이벤트 제한(50,000개의 UI 이벤트) 방식으로 테스트를 실행한다.
• 각 활동에 대해 발견된 충돌과 논리적 버그에 대한 상세 보고서를 생성한다.

실험 결과

연구 질문

• RQ1 기계학습 기법을 사용해 재사용 가능한 기능 유형으로 Android 앱 활동을 효과적으로 분류할 수 있는가?
• RQ2 활동 분류가 일반적인 이벤트 기반 테스팅에 비해 더 효과적이고 대상 지향적인 자동화 테스팅을 가능하게 하는가?
• RQ3 ML 기반 접근 방식이 Android Monkey와 같은 기존 랜덤 이벤트 도구가 놓치는 논리적 버그를 어느 정도 탐지할 수 있는가?
• RQ4 ML 기반 테스팅 접근 방식은 충돌과 논리적 결함을 식별하는 데서 표준 도구와 비교해 어떤 성능을 보이는가?
• RQ5 이 프레임워크는 더 많은 활동 유형을 지원하도록 확장 가능하며, 하드코딩된 테스트 케이스에 대한 의존도를 줄일 수 있는가?

주요 결과

• ACAT는 실험에서 미리 보지 못한 세 개의 활동을 100% 정확도로 모두 분류했다.
• ACAT는 테스트 애플리케이션에 삽입된 10개의 논리적 버그를 모두 발견했으며, Android Monkey는 어떤 버그도 발견하지 못했다.
• 원본 애플리케이션 버전에서 잘못된 수신자로 이메일을 보내는 기존의 논리적 결함을 ACAT가 식별했다.
• Android Monkey는 ACAT가 놓친 실시간 충돌 하나를 발견했으며, 이는 충돌 탐지와 논리적 버그 탐지 사이의 상충 관계를 보여준다.
• ACAT는 발견된 버그에 대한 상세 보고서를 생성하여 기능적 결함 탐지에서의 유용성을 입증했다.
• 결과는 각 활동을 특정 예상 동작을 가진 독립된 단위로 간주하는 것이 테스트 정밀도를 향상시키는 데 효과적임을 입증한다.