[논문 리뷰] DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software

Chuan-Yung Tsai, Graham W. Taylor|arXiv (Cornell University)|2022. 01. 29.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 깊이 강화학습(DRL)을 활용한 생성 테스팅 프레임워크인 DeepRNG을 제안한다. 이 프레임워크는 효율적으로 추출 가능한 콜 스택 기반 상태 표현 방식을 사용해 무작위 수 생성기(RNG)를 보완함으로써 소프트웨어 테스팅을 향상시킨다. 이 프레임워크는 코스모스 SDK(35만 줄 이상의 코드를 가진 대규모 블록체인 프레임워크)에서 기존에 알려지지 않은 버그를 발견하면서 통계적으로 유의미한 테스트 커버리지 향상을 달성하였다.

ABSTRACT

Although machine learning (ML) has been successful in automating various software engineering needs, software testing still remains a highly challenging topic. In this paper, we aim to improve the generative testing of software by directly augmenting the random number generator (RNG) with a deep reinforcement learning (RL) agent using an efficient, automatically extractable state representation of the software under test. Using the Cosmos SDK as the testbed, we show that the proposed DeepRNG framework provides a statistically significant improvement to the testing of the highly complex software library with over 350,000 lines of code. The source code of the DeepRNG framework is publicly available online.

연구 동기 및 목표

• 복잡한 소프트웨어 시스템, 특히 생성 테스팅의 맥락에서 효과적이고 다양한 테스트 입력을 생성하는 데 도전하는 것.
• 35만 줄 이상의 코드를 보유한 대규모 시스템인 코스모스 SDK와 같이 블록체인 인fra구조에 핵심적인 역할을 하는 시스템에서 소프트웨어 테스팅의 효율성과 커버리지 향상시키는 것.
• 수동 인스트루멘테이션이나 코드 수정 없이 깊이 강화학습을 RNG 프로세스에 직접 통합하는 프레임워크를 개발하는 것.
• DRL 에이전트의 상태 표현에 이전 상태, 행동, 보상의 역사를 통합할 경우 테스트 커버리지 및 버그 탐지 성능에 어떤 영향을 미치는지 평가하는 것.
• 실제 소프트웨어에서 알려지지 않은 취약점을 발견하는 데 있어 이 프레임워크의 실용적 효과를 입증하는 것.

제안 방법

• 테스트 대상 소프트웨어의 전체 콜 스택을 가볍고 자동으로 추출 가능한 상태 표현 방식으로 사용하여, 커버리지 비트맵과 같은 복잡하거나 비효율적인 표현 방식을 대체한다.
• IMPALA로 훈련된 깊이 강화학습 에이전트를 활용해 테스트 커버리지를 극대화하고 소프트웨어 장애를 유도하는 랜덤 수를 생성한다.
• 에이전트의 상태 표현은 과거 상태, 행동, 보상(SAR)의 역사를 포함하여, 역사적 맥락을 잘라내지 않으면서도 민첩하고 견고한 학습을 가능하게 한다.
• 상태 표현은 실행 중 관찰된 고유한 콜 스택 패턴에 대해 원핫 벡터로 인코딩되어, 대규모 시스템에서도 효율적인 처리를 가능하게 한다.
• 에이전트는 분지 커버리지 증가에 따라 밀도 높은 스텝별 보상과, 테스트 실패(버그)가 감지될 경우 최종 보상 1.0을 수신한다.
• 시스템은 코스모스 SDK 테스트 환경에 통합되어, DRL 에이전트가 테스트 생성기에서 사용하는 RNG를 직접 제어함으로써 기본 무작위 수 생성 방식을 대체한다.

실험 결과

연구 질문

• RQ1 깊이 강화학습 에이전트가 RNG를 보완함으로써 대규모 소프트웨어 시스템에서 테스트 커버리지를 효과적으로 향상시킬 수 있는가?
• RQ2 콜 스택 기반 상태 표현 방식이 전통적인 커버리지 비트맵 표현 방식보다 테스트 커버리지 및 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 상태, 행동, 보상(SAR)의 역사를 포함시킬 경우 DRL 에이전트의 성능과 내구성은 어떻게 영향을 받는가?
• RQ4 제안된 프레임워크는 코스모스 SDK와 같은 복잡한 실세계 소프트웨어 시스템에서 기존에 알려지지 않은 버그를 발견할 수 있는가?
• RQ5 기본 무작위 테스팅과 비교했을 때 DeepRNG 프레임워크를 사용할 경우 테스트 커버리지 향상이 통계적으로 유의미한가?

주요 결과

• DeepRNG 프레임워크는 코스모스 SDK에서 통계적으로 유의미한 테스트 커버리지 향상을 달성하였으며, CS-SAR 설정에서 커버리지가 11.876%로 기준값 11.861%를 초과했고, p = 0.012였다.
• 커버리지 비트맵(CB) 표현 방식보다 정보량이 많음에도 불구하고 콜 스택(CS) 표현 방식만으로도 성능이 뛰어나, 강화학습 기반 테스팅에서 정보 밀도가 항상 성능에 연관되지는 않음을 시사한다.
• 보상 역사를 통합한(SAR 포함) 설정은 성능 향상을 이끌었으며, 반복 실행 시 가장 뚜렷한 향상과 내구성을 보였다.
• 프레임워크는 코스모스 SDK에서 무결성 손상 초기화 및 예기치 않은 타임아웃과 같은 최소 두 가지 새로운 종류의 버그를 성공적으로 발견하였다.
• 가벼우면서도 자동으로 추출 가능한 콜 스택 표현 방식을 사용함으로써, 소스 코드 수정 없이도 코스모스 SDK에 효율적이고 확장 가능한 통합이 가능했다.
• 결과적으로 DRL 에이전트가 상태, 행동, 보상의 역사를 학습함으로써 복잡한 소프트웨어 상태 공간을 더 효과적으로 탐색할 수 있음을 입증하였다.