[논문 리뷰] A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation

Ziyuan Zhong, Yun Tang외 4명|arXiv (Cornell University)|2021. 12. 02.

Software Testing and Debugging Techniques참고 문헌 116인용 수 40

한 줄 요약

이 설문조사는 ADS를 위한 고충실도 시뮬레이터에서 시나리오 기반 테스트를 위한 일반적 프레임워크를 소개하고, 최근 연구를 검토하며, 열린 도전과제와 향후 방향에 대해 논의합니다. 방법들을 시뮬레이터, 시스템, 목표, 시나리오 공간, 탐색 알고리즘으로 비교합니다.

ABSTRACT

Automated Driving Systems (ADSs) have seen rapid progress in recent years. To ensure the safety and reliability of these systems, extensive testings are being conducted before their future mass deployment. Testing the system on the road is the closest to real-world and desirable approach, but it is incredibly costly. Also, it is infeasible to cover rare corner cases using such real-world testing. Thus, a popular alternative is to evaluate an ADS's performance in some well-designed challenging scenarios, a.k.a. scenario-based testing. High-fidelity simulators have been widely used in this setting to maximize flexibility and convenience in testing what-if scenarios. Although many works have been proposed offering diverse frameworks/methods for testing specific systems, the comparisons and connections among these works are still missing. To bridge this gap, in this work, we provide a generic formulation of scenario-based testing in high-fidelity simulation and conduct a literature review on the existing works. We further compare them and present the open challenges as well as potential future research directions.

연구 동기 및 목표

• 고충실도 시뮬레이션에서 시나리오 기반 테스트를 위한 일반적 형식을 제안합니다.
• 주요 연구(주로 2018년 이후)를 시뮬레이터, 대상 시스템, 테스트 목표, 시나리오 매개변수, 탐색 알고리즘 전반에 걸쳐 검토하고 비교합니다.
• ADS 시나리오 기반 테스트의 향후 연구를 안내하기 위해 일반적인 도전과 격차를 식별합니다.
• 테스트 프레임워크의 충실도, 전이성, 효율성을 향상시키기 위한 열린 질문과 방향을 논의합니다.

제안 방법

• 시나리오 생성, 실행, 평가로 구성된 시나리오 기반 ADS 테스트를 위한 일반적 워크플로를 제시합니다.
• 파라미터를 정리하기 위한 계층적 시나리오 표현(함수적, 논리적, 구체적)과 시나리오 계층 모델을 정의합니다.
• 네 가지 차원(시뮬레이터, 시험 대상 시스템, 테스트 목표, 탐색 알고리즘)으로 연구를 비교합니다.
• 문헌을 선별하고 분석하는 데 사용된 선정 및 평가 기준을 요약합니다.
• 시뮬레이션 결과와 실제 성능 간의 간극 분석을 논의하고 잠재적 완화책을 제안합니다.

실험 결과

연구 질문

• RQ1 고충실도 ADS 시뮬레이터에서 시나리오 기반 테스트를 위한 일반적이고 재사용 가능한 프레임워크는 무엇인가요?
• RQ2 existing works는 시뮬레이터, 시험 대상 시스템, 테스트 목표, 시나리오 매개공간, 탐색 전략 측면에서 어떻게 다릅니까?
• RQ3 시뮬레이션 기반 테스트를 실제 안전 보장과 일치시키는 데 주요 도전과제는 무엇이며, 이를 해결할 방향은 무엇일까요?

주요 결과

• 일관된 3요소 워크플로우(시나리오 생성, 실행, 평가)가 연구 전반에 공통적으로 존재합니다.
• 계층적 모델(함수적, 논리적, 구체적)과 다섯 계층의 시나리오 모델은 비교를 위한 시나리오 매개변수를 정리하는 데 도움이 됩니다.
• 대부분의 연구는 소프트웨어 루프를 포함한 고충실도 시뮬레이터를 사용하여 다양한 맵, 센서, NPC 행동에서 시스템 수준의 ADS 안전성을 테스트합니다.
• 시뮬레이션에서의 테스트 결과를 실제 배치로 전이하는 데 있어 충실도와 전이성의 도전이 큰 차이를 보입니다.
• 열린 도전 과제로는 시뮬레이터의 현실성, 오픈 소스 시스템의 가용성, 플랫폼 간 테스트 방법의 일반화가 포함됩니다.