[논문 리뷰] Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications

Yavuz Köroglu, Alper Şen|arXiv (Cornell University)|2019. 11. 13.

Software Testing and Debugging Techniques참고 문헌 40인용 수 12

한 줄 요약

FARLEAD-Android는 사용자가 정의한 선형 시간 시간 논리(LTL) 명세를 만족하는 기능적으로 올바른 테스트를 생성하기 위해 강화학습(RL)을 사용하는 Android GUI 응용 프로그램을 위한 완전 자동화된 테스트 생성 프레임워크이다. 형식적 명세를 명시적 테스트 오라클로 활용하여 Random, Monkey, QBEa보다 더 높은 효과성과 효율성을 달성함으로써 특정 GUI 동작을 타겟으로 하는 데에 뛰어난 성능을 보인다.

ABSTRACT

There have been many studies on automated test generation for mobile Graphical User Interface (GUI) applications. These studies successfully demonstrate how to detect fatal exceptions and achieve high code and activity coverage with fully automated test generation engines. However, it is unclear how many GUI functions these engines manage to test. Furthermore, these engines implement only implicit test oracles. We propose Fully Automated Reinforcement LEArning-Driven Specification-Based Test Generator for Android (FARLEAD-Android). FARLEAD-Android accepts a GUI-level formal specification as a Linear-time Temporal Logic (LTL) formula. By dynamically executing the Application Under Test (AUT), it learns how to generate a test that satisfies the LTL formula using Reinforcement Learning (RL). The LTL formula does not just guide the test generation but also acts as a specified test oracle, enabling the developer to define automated test oracles for a wide variety of GUI functions by changing the formula. Our evaluation shows that FARLEAD-Android is more effective and achieves higher performance in generating tests for specified GUI functions than three known approaches, Random, Monkey, and QBEa. To the best of our knowledge, FARLEAD-Android is the first fully automated mobile GUI testing engine that uses formal specifications.

연구 동기 및 목표

• 기존 도구들이 높은 코드 및 활동 커버리지를 달성하지만 핵심 GUI 기능을 효과적으로 테스트하지 못하는 자동화된 GUI 테스트 분야의 격차를 보완하기 위해.
• 형식적 명세, 특히 LTL를 테스트 과정에 통합하여 명시적 테스트 오라클을 제공함으로써 완전 자동화된 테스트 생성을 가능하게 하기 위해.
• 개발자가 LTL 수식을 통해 원하는 GUI 동작을 지정할 수 있도록 함으로써 테스트 오라클 정의에 필요한 수동 작업을 줄이기 위해.
• 강화학습을 사용하여 LTL 명세를 만족하는 최적의 동작 시퀀스를 학습함으로써 테스트 생성의 효율성과 효과성을 향상시키기 위해.
• 테스트를 장치에 종속되지 않는 LTL 수식으로 인코딩함으로써 이식 가능하고 장치에 종속되지 않는 테스트 생성을 지원하기 위해.

제안 방법

• FARLEAD-Android는 응용 프로그램 테스트 대상(AUT)과 동적으로 실시간으로 상호작용하는 강화학습(RL) 에이전트를 사용하여 최적의 동작 시퀀스를 학습한다.
• 현재 상태가 LTL 명세의 일부를 만족하는지에 따라 보상을 받으며, 이는 LTL 수식을 완전히 만족하는 테스트를 생성하도록 에이전트를 이끌어낸다.
• 상태 공간은 GUI 컴포넌트 상태, 활동 전환, 충돌 감지와 같은 맥락적 속성을 포함하며, 동작은 클릭, 스와이프와 같은 GUI 상호작용이다.
• LTL 수식은 테스트 오라클과 목표 함수의 역할을 동시에 하여, RL 에이전트가 형식적 행동 요구사항을 충족하는 테스트를 생성하는 정책을 학습하도록 한다.
• 프레임워크는 가상 디바이스(안드로이드 에뮬레이터)와 물리적 안드로이드 디바이스를 모두 지원하며, 생성된 테스트를 이식성과 재사용성을 위해 LTL 수식으로 저장한다.
• LTL 수식이 성공적으로 만족되면 RL 학습을 조기에 종료함으로써 불필요한 탐색을 방지하고 실행 비용을 절감한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 테스트 생성기가 Android GUI 응용 프로그램의 형식적 LTL 명세를 만족하는 테스트를 효과적으로 생성할 수 있는가?
• RQ2 FARLEAD-Android의 성능은 Random, Monkey, QBEa와 같은 기존 방법과 비교해 기능적으로 올바른 테스트 생성에서 어떻게 다른가?
• RQ3 LTL 명세의 구체성이 테스트 생성의 효과성과 효율성에 얼마나 큰 영향을 미치는가?
• RQ4 LTL 기반 테스트 오라클 메커니즘은 치명적인 예외나 커버리지 메트릭스를 초월해 기능적 버그를 탐지할 수 있는가?
• RQ5 동작 시퀀스가 아닌 LTL 수식으로 테스트 로직을 인코딩함으로써 이식 가능하고 장치에 종속되지 않는 테스트 생성이 가능한가?

주요 결과

• FARLEAD-Android는 주어진 LTL 명세를 만족하는 테스트 생성에서 Random, Monkey, QBEa를 능가하며, 특정 GUI 기능을 타겟으로 하는 데 있어 더 높은 효과성을 보였다.
• LTL를 명시적 테스트 오라클로 사용함으로써 GUI 동작 검증을 충돌 감지나 커버리지 초과 정밀하게 수행할 수 있어 테스트 생성 성능이 향상되었다.
• LTL 수식이 만족되면 RL 프로세스를 조기에 종료함으로써 표준 RL-LTL 방법에 비해 훨씬 적은 단계를 소비하여 실행 비용을 크게 감소시켰다.
• LTL 수식을 사용한 테스트 인코딩은 장치에 종속되지 않는 테스트 생성을 가능하게 하였으며, 장치별 좌표 및 동작를 추상화함으로써 이를 달성하였다.
• 프레임워크는 알려진 버그를 재현하고 실험용 응용 프로그램에서 두 가지 새로운 버그를 발견하였으며, 이는 이슈 추적 시스템을 통해 개발자에게 보고되었다.
• FARLEAD-Android의 효과성은 더 구체적인 LTL 명세일수록 증가하였으며, 이는 명세의 정밀도가 높을수록 더 나은 테스트 생성 결과를 이끌어낸다는 것을 시사한다.