[논문 리뷰] Coverage-based Scene Fuzzing for Virtual Autonomous Driving Testing

Zhisheng Hu, Shengjian Guo외 2명|arXiv (Cornell University)|2021. 06. 02.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 11

한 줄 요약

이 논문은 차량 위치, 속도 및 기상 조건과 같은 환경 파ameter를 변형시켜 가상 자율 주행 테스트 케이스에 대해 다양하고 동적일 수 있는 설정을 자동으로 생성하는 커버리지 기반 퍼지잉 기법 ASF를 제안한다. 궤적 커버리지(trajectory coverage)를 피드백 메트릭으로 사용함으로써, 무작위 또는 수동 테스트로는 찾기 어려운 희귀하고 고위험 시나리오—충돌 및 가까스럽게 피하는 상황을 효율적으로 발견할 수 있으며, 시뮬레이션 환경 내에서 안전 테스트의 효율성과 효과성을 크게 향상시킨다.

ABSTRACT

Simulation-based virtual testing has become an essential step to ensure the safety of autonomous driving systems. Testers need to handcraft the virtual driving scenes and configure various environmental settings like surrounding traffic, weather conditions, etc. Due to the huge amount of configuration possibilities, the human efforts are subject to the inefficiency in detecting flaws in industry-class autonomous driving system. This paper proposes a coverage-driven fuzzing technique to automatically generate diverse configuration parameters to form new driving scenes. Experimental results show that our fuzzing method can significantly reduce the cost in deriving new risky scenes from the initial setup designed by testers. We expect automated fuzzing will become a common practice in virtual testing for autonomous driving systems.

연구 동기 및 목표

• 동적 환경 요소의 광범위한 설정 공간으로 인해 효율적이지 않고 완전하지 않은 가상 안전 테스트 문제를 해결하기 위해.
• 수동으로 시간이 오래 걸리는 테스트 케이스 작성에 의존도를 줄이고, 다양한 도전적인 가상 주행 시나리오를 자동 생성하기 위해.
• 궤도 커버리지 기반 피드백 기반 변형 전략을 활용하여, 특히 충돌 또는 가까스럽게 피하는 상황을 포함한 희귀하고 위험한 코너 케이스를 개선하여 탐지하기 위해.
• 물리적 도로 테스트를 보완하는 대규모 가상 안전 테스트에 적합하고 확장 가능한 기법을 개발하기 위해.

제안 방법

• 시뮬레이션 내 자율 주행 차량 궤적의 다양성과 신규성을 평가하기 위해 궤적 커버리지(trajectory coverage)를 새로운 피드백 메트릭으로 제안한다.
• 주변 차량 위치, 속도 및 기상 조건과 같은 동적 설정을 변경하기 위한 타겟팅된 변형 전략을 설계한다.
• 궤적 커버리지에 기반한 피드백 루프를 통합하여, 새로운 또는 다릅니다운 주행 행동을 생성하는 테스트 케이스를 우선순위화하고 진화시킨다.
• 충돌을 중요한 이벤트로 간주하고 기록하여 인간 분석을 가능하게 하며, 자율 주행 시스템 내 미묘한 논리적 결함을 탐지할 수 있도록 한다.
• 실제 가상 주행 조건에서 방법을 평가하기 위해 SVL 시뮬레이터와 Apollo 5.0.0을 테스트베드로 사용한다.
• 새로운 또는 위험한 궤적을 생성할 가능성이 높은 설정 공간 영역을 우선적으로 탐색하도록 시드 선택 및 변형 전략을 활용한다.

실험 결과

연구 질문

• RQ1 희귀하고 위험한 시나리오를 더 효율적으로 발견하기 위해, 가상 자율 주행 테스트에서 자동화된 테스트 케이스 생성을 어떻게 개선할 수 있는가?
• RQ2 궤적 커버리지(trajectory coverage)를 피드백 메트릭으로 사용할 경우, 고위험 주행 설정을 식별하는 데 퍼지잉의 효과성이 얼마나 향상되는가?
• RQ3 커버리지 기반 접근 방식이 충돌 및 가까스럽게 피하는 상황을 탐지하는 데 있어 피트니스 기반 또는 무작위 퍼지잉보다 우월한가?
• RQ4 가상 주행 장면의 동적 설정 공간을 탐색할 때, 테스트 다양성과 결함 탐지 최대화에 가장 효과적인 변형 전략은 무엇인가?

주요 결과

• ASF는 퍼지잉 40회 반복 이내에 두 건의 충돌 사례와 한 건의 가까스럽게 피하는 사례를 발견했으며, AV-Fuzzer는 한 건의 가까스럽게 피하는 사례만 발견했고, 랜덤 퍼지잉은 아무것도 발견하지 못했다.
• 교통봉과의 충돌은 아폴로(Apollo)의 차선 이탈 로직에 논리적 결함이 있었기 때문에 발생했으며, 이는 이중 노란선을 횡단하기 전에 차선 경계 유형을 확인하지 못했기 때문이다.
• ASF의 궤적 커버리지 기반 피드백 메커니즘이 다양한 주행 행동을 탐색할 수 있도록 해, 심각한 코너 케이스를 발견할 가능성을 높였다.
• 수동 또는 랜덤 접근 방식에 비해 고영향도 테스트 케이스를 생성하는 데 소요되는 시간과 노력이 크게 감소했다.
• 아폴로 5.0.0에서 이전에 발견되지 않았던 몇 가지 결함들이 아폴로 6.x 릴리스에서 확인되고 수정되었으며, 이는 ASF의 실용적 영향력을 검증한 것이다.
• ASF는 커버리지 및 결함 탐지 측면에서 AV-Fuzzer와 랜덤 퍼지잉을 모두 압도하여, 가상 안전 테스트에서 커버리지 기반 피드백의 우수성을 입증했다.