[논문 리뷰] A Systematic Literature Review of Automated Techniques for Functional GUI Testing of Mobile Applications

Yauhen Leanidavich Arnatovich, Lipo Wang|arXiv (Cornell University)|2018. 12. 30.

Software Testing and Debugging Techniques참고 문헌 79인용 수 4

한 줄 요약

이 체계적 문헌 리뷰는 모바일 앱을 대상으로 한 자동 기능 GUI 테스팅 기법에 대한 25개의 주요 연구를 평가하여 효율성, 효율성, 실용성 측면을 분석한다. 현재 기법들은 약 50% 수준의 효과성만을 보이며, 비효율적(일반적으로 1개 앱당 30분 이상 소요)이며, 효과성과 효율성 간의 상충 관계로 인해 약 50%의 실용성만을 보이며, 모델 압축 및 지능형 입력 생성 향상의 필요성을 강조한다.

ABSTRACT

Context. Multiple automated techniques have been proposed and developed for mobile application GUI testing aiming to improve effectiveness, efficiency, and practicality. The effectiveness, efficiency, and practicality are 3 fundamental characteristics which testing techniques are built upon, and need to be continuously improved to deliver useful solutions for researchers and practitioners, and community as a whole. Objective. In this systematic review, we attempt to provide a broad picture of existing mobile testing tools by collating and analysing their conceptual, and also performance characteristics including an estimation of effectiveness, efficiency, and practicality. Method. To achieve our objective, we specify 3 primary, and 14 secondary review questions, and conducted an analysis of 25 primary studies. We first individually analyse each primary study, and next analyse the primary studies as a whole. We developed a review protocol which defines all the details of our systematic review. Results. From effectiveness, we conclude that testing techniques which implement model-checking, symbolic execution, constraint solving, and search-based test generation approach tend to be more effective than those implementing random test generation. From efficiency, we conclude that testing techniques which implement code search-based testing approaches tend to be more efficient than those implementing GUI model-based. From practicality, we conclude that the more effective a testing technique is, the less efficient it will be. Conclusion. For effectiveness, we observe that the existing automated testing techniques are not effective enough, and currently they achieve nearly half of the desired level of effectiveness. For efficiency, we observe that current automated testing techniques are not efficient enough.

연구 동기 및 목표

• 모바일 애플리케이션을 대상으로 한 자동 기능 GUI 테스팅 기법의 현재 상태를 평가하기 위해.
• 기존 자동 테스팅 도구의 효과성, 효율성, 실용성을 평가하기 위해.
• 입력 생성 및 모델 복잡성 측면에서 테스트 생성 접근 방식의 격차를 특정하기 위해.
• 입력 다양성 및 모델 확장성 등의 부족한 영역를 부각시켜 향후 연구를 안내하기 위해.

제안 방법

• 정의된 프로토콜을 사용하여 체계적 문헌 리뷰를 수행하였으며, 주요 질문 3개와 부차적 질문 14개를 포함하였다.
• 관련성과 품질 기준에 기반한 엄격한 포함 및 배제 기준을 적용하여 25개의 주요 연구를 선정하였다.
• 각 연구를 개별적으로 분석한 후 종합적으로 평가하여 개념적 특성과 성능 특성을 평가하였다.
• 연구 품질 평가를 위해 자체 개발한 척도를 사용하였으며, 다수의 리뷰어가 공감대를 형성하여 인간의 편향을 최소화하였다.
• 효과성(예: 모델 검증 대비 랜덤 테스팅), 효율성(예: 코드 검색 대비 GUI 모델 기반), 실용성(실제 적용 가능성) 측면에서 결과를 맵핑하였다.
• 주요 연구의 연구 설계 및 결과 논의를 분석하여 타당성에 대한 위협 요소를 평가하였다.

실험 결과

연구 질문

• RQ1 모바일 애플리케이션을 대상으로 한 가장 효과적인 자동 GUI 테스팅 기법은 무엇이며, 테스트 커버리지 및 결함 탐지 능력 측면에서 어떻게 비교될 수 있는가?
• RQ2 기존 자동 테스팅 기법은 애플리케이션 당 실행 시간과 자원 사용 측면에서 얼마나 효율적인가?
• RQ3 현실 세계 환경에서 현재의 모바일 GUI 테스팅 도구의 실용성(또는 비실용성)을 결정짓는 요인은 무엇인가?
• RQ4 다양한 테스트 생성 전략(예: 기호적 실행, 랜덤 입력, 검색 기반)은 효과성과 효율성에 어떤 영향을 미치는가?
• RQ5 입력 생성 및 모델 복잡성 측면에서 현재 기법들의 주요 제약 요소는 무엇인가?

주요 결과

• 모델 검증, 기호적 실행, 제약 해결, 검색 기반 테스트 생성은 랜덤 테스트 생성보다 높은 효과성을 달성한다.
• 코드 검색 기반 테스트 접근 방식은 GUI 모델 기반 접근 방식보다 더 효율적이며, 후자는 높은 오버헤드를 야기한다.
• 기존 기법들은 도달하고자 하는 효과성 수준의 약 50%에 그치며, 결함 탐지 능력에 심각한 격차가 있음을 시사한다.
• 대부분의 자동 테스팅 기법은 애플리케이션당 30분 이상 소요되며, 일부는 수 시간이 걸려 효율성이 낮음을 나타낸다.
• 기존 도구 중 약 절반만이 효과성과 효율성 간의 상충 관계로 인해 실제 적용에 실용적이다.
• 자동 텍스트 입력 생성은 여전히 개발이 부족한 상태이며, 대부분의 도구가 랜덤 텍스트에 의존함으로써 효과성이 제한된다.