[논문 리뷰] DRIFT: Deep Reinforcement Learning for Functional Software Testing

Luke Harries, Rebekah Storan Clarke외 11명|arXiv (Cornell University)|2020. 07. 16.

Software Testing and Debugging Techniques참고 문헌 22인용 수 13

한 줄 요약

DRIFT는 심벌릭 표현을 기반으로 GUI 상태-행동 가치 함수를 모델링하기 위해 그래프 신경망을 사용하는 딥 강화학습 프레임워크로, 소프트웨어의 샘플 효율적이고 자동화된 기능 테스팅을 가능하게 한다. Windows 10에서 랜덤 및 해시 기반 베이스라인보다 두 계단 정도 뛰어난 성능을 보이며, 다양한 테스팅 목표에 대해 일반화된다.

ABSTRACT

Efficient software testing is essential for productive software development and reliable user experiences. As human testing is inefficient and expensive, automated software testing is needed. In this work, we propose a Reinforcement Learning (RL) framework for functional software testing named DRIFT. DRIFT operates on the symbolic representation of the user interface. It uses Q-learning through Batch-RL and models the state-action value function with a Graph Neural Network. We apply DRIFT to testing the Windows 10 operating system and show that DRIFT can robustly trigger the desired software functionality in a fully automated manner. Our experiments test the ability to perform single and combined tasks across different applications, demonstrating that our framework can efficiently test software with a large range of testing objectives.

연구 동기 및 목표

• 소프트웨어 개발에서 수동 GUI 테스팅의 비효율성과 높은 비용 문제를 해결하기 위해.
• 다양한 목적이 있는 복잡한 소프트웨어 시스템에 대해 완전 자동화되고 샘플 효율적인 테스팅을 가능하게 하기 위해.
• GUI 테스팅에서 고정된 랜덤 정책과 히ュ리스틱 기반 에이전트의 한계를 극복하기 위해.
• 작업별 특징 공학 없이도 다양한 기능을 테스트할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 기존의 Q-학습 및 해시 기반 베이스라인 대비 테스트 커버리지와 강건성을 향상시키기 위해.

제안 방법

• 목적가 reward 함수로 정의된 MDP(마르코프 결정 과정)로 소프트웨어 테스팅을 공식화한다.
• 접근성 API에서 유도된 트리 구조의 심벌릭 표현을 사용해 GUI 상태를 표현한다.
• GUI 상태의 구조적 의존성을 포착하기 위해 그래프 신경망(GNN)을 사용해 Q-함수를 모델링한다.
• 온라인 상호작용 비용을 피하기 위해 오프라인 데이터셋을 사용해 배치 강화학습을 통해 에이전트를 훈련시킨다.
• 추론 중에 목표 작업을 확률적으로 샘플링함으로써 다중 목표 학습을 가능하게 하는 DRIFT-Sampler를 활용한다.
• 역사적 상호작용 데이터로부터 최적의 정책을 학습하기 위해 GNN 기반 함수 근사와 Q-학습 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 인간이 지정한 특징 없이도 기능 기반 GUI 테스팅을 학습할 수 있는가?
• RQ2 GUI 상태-행동 가치를 모델링할 때 GNN를 사용하면 해시 기반 방법에 비해 일반화 성능이 향상되는가?
• RQ3 한 명의 에이전트로 여러 테스팅 목표를 동시에 효율적으로 학습할 수 있는가?
• RQ4 DRIFT의 샘플 효율성은 랜덤 및 히ュ리스틱 기반 테스팅 베이스라인과 비교해 어떻게 되는가?
• RQ5 기존의 해시 기반 테스팅 방법에서 실패하는 소규모 GUI 변화에 대해 에이전트가 일반화할 수 있는가?

주요 결과

• DRIFT는 Windows 10에서 랜덤 베이스라인 대비 테스트 완료율에서 두 계단 정도 뛰어난 성능을 보였다.
• GNN 기반 모델은 소규모 GUI 변화에 대해 효과적으로 일반화되었지만, Q-hash 베이스라인은 일반화에 실패했다.
• 에이전트는 설정 앱에서 알림 및 블루투스 장치 설정 작업을 성공적으로 완료했으며, 온도 0.03를 사용해 21번의 성공적인 블루투스 설정 작업을 달성했다.
• 추론 중 다양한 목표를 샘플링함으로써 다중 목표 테스팅에서 프레임워크의 강건성을 입증했다.
• 오프라인 데이터로부터의 배치 RL 훈련을 통해 온라인 환경 상호작용 없이도 효율적인 학습이 가능했다.
• 에이전트는 핵심 UI 요소를 우선순위로 삼아, 랜덤 또는 히ュ리스틱 정책보다 커버리지가 향상되었다.