[논문 리뷰] A Needle in a Haystack -- How to Derive Relevant Scenarios for Testing Automated Driving Systems in Urban Areas

Nico Weber, Christoph Thiem외 1명|arXiv (Cornell University)|2021. 09. 08.

Traffic control and management인용 수 7

한 줄 요약

이 논문은 복잡한 도심 환경에서 자율주행시스템(ADS)의 테스트를 위해 체계적으로 관련 교통 시나리오를 유도하는 시뮬레이션 기반 툴체인을 제시한다. 실세계 데이터를 에이전트 기반 시뮬레이션과 통합함으로써 적응형 재생-시뮬레이션(adaptive replay-to-sim) 접근법을 통해, 시나리오 데이터베이스의 품질을 향상시키고 혼합 교통 환경에서 확장 가능하고 안전 중심의 ADS 테스트를 가능하게 한다.

ABSTRACT

While there was great progress regarding the technology and its implementation for vehicles equipped with automated driving systems (ADS), the problem of how to proof their safety as a necessary precondition prior to market launch remains unsolved. One promising solution are scenario-based test approaches; however, there is no commonly accepted way of how to systematically generate and extract the set of relevant scenarios to be tested to sufficiently capture the real-world traffic dynamics, especially for urban operational design domains. Within the scope of this paper, the overall concept of a novel simulation-based toolchain for the development and testing of ADS-equipped vehicles in urban environments is presented. Based on previous work regarding highway environments, the developed novel enhancements aim at empowering the toolchain to be able to deal with the increased complexity due to the more complex road networks with multi-modal interactions of various traffic participants. Based on derived requirements, a thorough explanation of different modules constituting the toolchain is given, showing first results and identified research gaps, respectively. A closer look is taken on two use cases: First, it is investigated whether the toolchain is capable to serve as synthetic data source within the development phase of ADS-equipped vehicles to enrich a scenario database in terms of extent, complexity and impacts of different what-if-scenarios for future mixed traffic. Second, it is analyzed how to combine the individual advantages of real recorded data and an agent-based simulation within a so-called adaptive replay-to-sim approach to support the testing phase of an ADS-equipped vehicle. The developed toolchain contributes to the overarching goal of a commonly accepted methodology for the validation and safety proof of ADS-equipped vehicles, especially in urban environments.

연구 동기 및 목표

• 도심 자율주행 환경에서 관련성이 있는 안전 중심 시나리오를 체계적으로 식별할 수 있는 방법의 부족을 해결하기 위해.
• 도시 도로 네트워크의 복잡성과 다중 모odal 교통 상호작용을 다룰 수 있는 시뮬레이션 기반 툴체인 개발을 위해.
• 다양하고 영향력 있는 '만약에' 시나리오를 포함한 시나리오 데이터베이스를 풍부화하기 위한 합성 데이터 생성을 위해.
• 적응형 재생-시뮬레이션 접근법을 통해 실기록 데이터와 시뮬레이션을 결합하여 ADS의 테스트 단계를 지원하기 위해.
• 도심 운영 설계 도메인에서 ADS의 안전성 검증 및 증명을 위한 표준화된 방법론 기여를 위해.

제안 방법

• 툴체인은 실세계 교통 데이터와 에이전트 기반 시뮬레이션을 통합하여 복잡한 도심 교통 역학을 모델링한다.
• 대규모 도심 교통 데이터에서 희귀하지만 중요한 교통 시나리오를 추출, 분류 및 우선순위 정렬하기 위해 다단계 파이프라인을 활용한다.
• 실세계 이벤트 기록과 시뮬레이션된 교통 에이전트를 동적으로 조합하여 현실적이고 영향력 있는 테스트 시나리오를 생성하는 새로운 적응형 재생-시뮬레이션 기법을 적용한다.
• 시나리오의 관련성은 교통 복잡성, 상호작용 강도 및 안전 중심 지표에 기반하여 평가된다.
• 개발(데이터 풍부화) 및 테스트(검증) 단계 모두를 위한 반복적 시나리오 생성을 지원하는 프레임워크이다.
• 두 가지 사용 사례를 통해 평가되었다: 합성 시나리오 생성 및 하이브리드 시뮬레이션 기반 테스트.

실험 결과

연구 질문

• RQ1 어떻게 도심 교통 데이터에서 자율주행시스템 테스트를 위한 관련성 있고 안전 중심의 시나리오를 체계적으로 추출할 수 있는가?
• RQ2 시뮬레이션 기반 툴체인은 얼마나 다양한 현실적인 도심 교통 시나리오를 생성할 수 있으며, 실세계의 복잡성을 반영할 수 있는가?
• RQ3 실기록 데이터와 에이전트 기반 시뮬레이션을 효과적으로 통합하여 시나리오의 정확성과 테스트 커버리지를 향상시킬 수 있는가?
• RQ4 효과적인 ADS 검증을 위해 반드시 반영되어야 할 도심 환경에서의 고영향력 시나리오의 핵심 특성은 무엇인가?
• RQ5 제안된 툴체인은 도심 ADS 개발의 시나리오 데이터베이스 풍부화 및 안전 검증을 위한 확장 가능하고 재사용 가능한 프레임워크로 기능할 수 있는가?

주요 결과

• 실세계 데이터와 에이전트 기반 시뮬레이션을 융합함으로써 툴체인은 다양한 고영향력 시나리오를 성공적으로 생성하였다.
• 적응형 재생-시뮬레이션 접근법은 시나리오의 정확성을 향상시키고 실제 도심 교통에서 관찰된 복잡한 다중 에이전트 상호작용을 재현할 수 있도록 하였다.
• 이 방법은 시나리오 데이터베이스의 포괄성, 복잡성 및 안전 중심 지표 측면에서 품질을 크게 향상시켰다.
• 프레임워크는 ADS 개발의 개발(합성 데이터 생성) 및 테스트(검증) 단계 모두에서 실현 가능성을 입증하였다.
• 특히 다중 모달 상호작용과 희귀하지만 중요한 사건에 관해 시나리오 선정 및 표현 측면에서 핵심 연구 격차를 규명하였다.
• 이 툴체인은 향후 도심 환경에서의 ADS 안전 검증 표준화를 위한 확장 가능하고 확장 가능한 기반을 제공한다.