[논문 리뷰] Neural Network Guided Evolutionary Fuzzing for Finding Traffic Violations of Autonomous Vehicles

Ziyuan Zhong, Gail E. Kaiser외 1명|arXiv (Cornell University)|2021. 09. 13.

Software Testing and Debugging Techniques참고 문헌 60인용 수 10

한 줄 요약

이 논문은 자동주행차(AV) 컨트롤러에서 교통 위반을 발견하기 위해 의미적으로 유효하고 복잡한 주행 시나리오를 생성하는 문법 유도형, 신경망 강화형 진화 퍼징 기법인 AutoFuzz를 제안한다. 시뮬레이터 API 문법을 활용하고 제약 조건이 있는 신경망을 통해 검색을 최적화함으로써, 고정밀 시뮬레이션 환경에서 네 대의 AV 컨트롤러에 대해 기준 방법 대비 10–39% 더 많은 고유한 교통 위반을 발견하였다.

ABSTRACT

Self-driving cars and trucks, autonomous vehicles (AVs), should not be accepted by regulatory bodies and the public until they have much higher confidence in their safety and reliability -- which can most practically and convincingly be achieved by testing. But existing testing methods are inadequate for checking the end-to-end behaviors of AV controllers against complex, real-world corner cases involving interactions with multiple independent agents such as pedestrians and human-driven vehicles. While test-driving AVs on streets and highways fails to capture many rare events, existing simulation-based testing methods mainly focus on simple scenarios and do not scale well for complex driving situations that require sophisticated awareness of the surroundings. To address these limitations, we propose a new fuzz testing technique, called AutoFuzz, which can leverage widely-used AV simulators' API grammars to generate semantically and temporally valid complex driving scenarios (sequences of scenes). To efficiently search for traffic violations-inducing scenarios in a large search space, we propose a constrained neural network (NN) evolutionary search method to optimize AutoFuzz. Evaluation of our prototype on one state-of-the-art learning-based controller, two rule-based controllers, and one industrial-grade controller in five scenarios shows that AutoFuzz efficiently finds hundreds of traffic violations in high-fidelity simulation environments. For each scenario, AutoFuzz can find on average 10-39% more unique traffic violations than the best-performing baseline method. Further, fine-tuning the learning-based controller with the traffic violations found by AutoFuzz successfully reduced the traffic violations found in the new version of the AV controller software.

연구 동기 및 목표

• 고정밀 시뮬레이션 환경에서 드물고 복잡한 교통 위반을 탐지하기 위한 확장성 있고 효과적인 테스팅 방법의 부족을 해결한다.
• 비용과 커버리지 문제로 인해 제한되는 실세계 테스팅 및 전통적인 시뮬레이션 기반 테스팅의 한계(시나리오 다양성 부족, 확장성 낮음)를 극복한다.
• 시뮬레이터 API 문법을 활용하여 의미적이고 시간적으로 타당한 주행 시나리오를 생성하는 퍼징 프레임워크를 개발한다.
• 진화 알고리즘 프레임워크 내에서 제약 조건이 있는 신경망을 사용해 위반 유도 시나리오를 최적화하여 검색한다.
• 다양하고 현실적인 교통 위반을 식별하고, 재학습을 통해 AV 컨트롤러의 강건성을 향상시키는 데서 이 방법의 효과성을 입증한다.

제안 방법

• 널리 사용되는 AV 시뮬레이터의 API 문법을 활용해 퍼징의 시드 입력으로 사용 가능한 유효한 초기 시나리오 구성 설정을 생성한다.
• 문법 유도 변형을 적용하여 의미적 및 시간적 타당성을 유지하는 새로운 테스트 케이스를 생성한다.
• 다양성과 심각도를 기반으로 한 적합도 기준을 사용해 진화 알고리즘을 통해 검색 과정을 이끈다.
• 검색 공간을 모델링하고 유망한 입력 변형을 우선순위화하기 위해 제약 조건이 있는 신경망을 통합하여 수렴성과 커버리지를 향상시킨다.
• 각 생성된 시나리오를 블랙박스 시뮬레이션으로 평가하여 충돌, 안전하지 않은 차선 변경, 양보 실패 등의 교통 위반을 탐지한다.
• 고유성 측정 기준을 구성 가능하게 하여 $th_1$ 및 $th_2$ 매개변수를 사용해 고유한 위반을 정량화하고 필터링함으로써 중복을 줄인다.

실험 결과

연구 질문

• RQ1 문법 유도형, 신경망 강화형 진화 퍼저는 AV 테스팅을 위해 의미적으로 유효하고 복잡한 주행 시나리오를 효과적으로 생성할 수 있는가?
• RQ2 고정밀 시뮬레이션 환경에서 이러한 퍼저는 기존 기준 방법 대비 얼마나 더 많은 고유한 교통 위반을 탐지할 수 있는가?
• RQ3 퍼저가 탐지한 교통 위반을 재학습을 통해 학습 기반 AV 컨트롤러의 강건성을 향상시키는 데 사용할 수 있는가?
• RQ4 제약 조건이 있는 신경망은 의미적 제약을 위반하지 않으면서도 위반을 유도하는 시나리오로 향한 진화적 검색을 얼마나 효과적으로 이끌 수 있는가?
• RQ5 시나리오 복잡도 및 환경 요소(예: 날씨, 교통 밀도)를 변화시켰을 때 교통 위반 탐지율에 어떤 영향을 미치는가?

주요 결과

• AutoFuzz는 고정밀 시뮬레이션 환경에서 다섯 개의 복잡한 주행 시나리오에 대해 수백 가지의 고유하고 현실적인 교통 위반을 탐지하였다.
• 각 시나리오에서 AutoFuzz는 최고 성능을 보인 기준 방법 대비 10–39% 더 많은 고유한 교통 위반을 발견하여, 더 뛰어난 커버리지와 다양성을 입증하였다.
• 갑작스러운 정지, 양보 실패, 보행자 또는 장애물과의 충돌을 포함한 위반들을 성공적으로 식별하였으며, 실제 사고 시나리오와 유사한 형태를 띠었다.
• AutoFuzz가 탐지한 위반을 기반으로 학습 기반 AV 컨트롤러를 재학습시킨 결과, 업데이트된 버전에서 유사한 위반 수가 유의미하게 감소하였다.
• 제약 조건이 있는 신경망은 입력 공간의 유망한 영역에 집중함으로써 검색 효율을 크게 향상시켰고, 유효하지 않거나 중복된 테스트 케이스의 생성을 줄였다.
• 이 방법은 산업 수준의 시스템(Apollo 6.0 포함)을 포함한 다양한 AV 컨트롤러에서 효과적으로 작동하여 실제 AV 소프트웨어 스택에 광범위하게 적용 가능함을 시사한다.