[논문 리뷰] AmbieGen: A Search-based Framework for Autonomous Systems Testing

Dmytro Humeniuk, Foutse Khomh외 1명|arXiv (Cornell University)|2023. 01. 01.

Software Testing and Debugging Techniques인용 수 5

한 줄 요약

AmbieGen은 자율주행차 및 로봇과 같은 자율 시스템을 위한 다양한 고장 유발 시나리오를 자동으로 생성하는 열린 소스 기반의 검색 기반 프레임워크입니다. 진화 알고리즘을 사용하여 제한된 시간 예산 내에 고장 유발 시나리오를 효율적으로 식별함으로써 SBST 2022 도구 경연에서 우승을 차지했습니다. 모듈식 아키텍처를 통해 확장성과 시뮬레이터와의 통합을 지원합니다.

ABSTRACT

Thorough testing of safety-critical autonomous systems, such as self-driving cars, autonomous robots, and drones, is essential for detecting potential failures before deployment. One crucial testing stage is model-in-the-loop testing, where the system model is evaluated by executing various scenarios in a simulator. However, the search space of possible parameters defining these test scenarios is vast, and simulating all combinations is computationally infeasible. To address this challenge, we introduce AmbieGen, a search-based test case generation framework for autonomous systems. AmbieGen uses evolutionary search to identify the most critical scenarios for a given system, and has a modular architecture that allows for the addition of new systems under test, algorithms, and search operators. Currently, AmbieGen supports test case generation for autonomous robots and autonomous car lane keeping assist systems. In this paper, we provide a high-level overview of the framework's architecture and demonstrate its practical use cases.

연구 동기 및 목표

• 자율 시스템 테스팅에서 막대하고 고차원적인 시나리오 공간을 탐색하는 데 도전하는 데에 대비하기 위해.
• 시스템 실패를 드러내는 악성 테스트 케이스를 생성하기 위한 확장성 있고 확장 가능한 프레임워크를 개발하기 위해.
• 다양한 알고리즘, 연산자, 적합도 함수를 실험할 수 있도록 검색 기반 테스팅 연구를 지원하기 위해.
• 안전이 중요한 자율 시스템(예: 차선 유지 보조 시스템, 로봇 주행)의 테스트 다양성과 고장 탐지 능력을 향상시키기 위해.
• 시뮬레이션 환경과 호환되며, 새로운 시스템과 테스팅 목표에 쉽게 확장 가능한 재사용 가능한 오픈소스 도구를 제공하기 위해.

제안 방법

• 자율 시스템의 가상 환경 설정 공간을 탐색하기 위해 Pymoo 프레임워크를 활용한 진화적 검색을 적용합니다.
• 도로 구조, 장애물 배치, 동적 에이전트와 같은 이산적 환경 특징을 인코딩하는 2차원 배열로 시나리오를 표현합니다.
• 빠른 적합도 점수 계산을 위해 단순화된 시스템 모델을 사용하여 고장 유발 시나리오 쪽으로 검색을 이끌어냅니다.
• 랜덤 검색, 단일 목적 유전자 알고리즘, 다목적 NSGA-II를 포함한 다양한 검색 알고리즘을 지원합니다.
• 초기화, 교차, 변이, 적합도 함수와 같은 구성 요소를 모듈식으로 확장하여 맞춤형 테스팅 문제에 대응할 수 있습니다.
• 계획된 바에 따라 시뮬레이터와 통합되어 생성된 시나리오를 검증하고, 피드백을 적합도 평가에 반영합니다.

실험 결과

연구 질문

• RQ1 다양성 유지 기법이 자율 시스템의 테스트 세트의 커버리지와 고장 탐지 능력에 얼마나 기여하는가?
• RQ2 다양한 검색 연산자와 알고리즘(예: NSGA-II 대비 단일 목적 GA)은 수렴 속도와 고장 유발 효과성 측면에서 어떻게 비교되는가?
• RQ3 신경망 기반 자율 시스템에서 임계적이고 고장 유발 시나리오 쪽으로 검색을 이끄는 데 가장 효과적인 적합도 함수는 무엇인가?
• RQ4 실제 전체 시뮬레이터에서의 시스템 실패를 유도하는 시나리오를 탐색하는 데에 단순화된 모델을 사용한 적합도 평가가 얼마나 효과적인가?
• RQ5 SCENIC과 같은 복잡한 실제 세계 시나리오 사양을 지원하고, CARLA와 같은 주요 시뮬레이터와의 통합을 가능하게 할 수 있는가?

주요 결과

• AmbieGen은 제한된 시간 예산 내에 자율차의 차선 유지 보조 시스템에 대해 가장 많은 수의 다양한 고장 유발 시나리오를 생성하여 SBST 2022 도구 경연에서 우승을 차지했습니다.
• NSGA-II와 단일 목적 유전자 알고리즘을 사용한 결과, 고장 탐지 능력과 시나리오 다양성 측면에서 랜덤 검색을 뛰어넘는 뛰어난 성능을 보였습니다.
• 모듈식 아키텍처 덕분에 새로운 테스트 대상 시스템, 적합도 함수, 검색 연산자에 대한 통합이 원활하게 이루어져 빠른 실험을 가능하게 했습니다.
• 적합도 평가에 단순화된 모델을 사용함으로써 계산 비용을 크게 줄였고, 同시에 의미 있는 고장 유발 시나리오 쪽으로 검색을 이끌어내는 데 성공했습니다.
• Pymoo 생태계와 호환되어 연구자들이 고급 최적화 알고리즘과 비교 분석 기능을 쉽게 활용할 수 있도록 지원합니다.
• 도구는 CodeOcean 캡슐과 GitHub 리포지토리를 통해 완전한 재현 가능성을 확보하고 오픈소스로 공개되어 커뮤니티 기여와 장기적인 확장성에 기여하고 있습니다.