[논문 리뷰] Paracosm: A Language and Tool for Testing Autonomous Driving Systems

Rupak Majumdar, Aman Mathur외 3명|arXiv (Cornell University)|2019. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 30

한 줄 요약

Paracosm는 반응형 프로그래밍과 이산 매개변수에 대한 조합적 커버리지, 연속 매개변수에 대한 저산산도 샘플링을 사용하여 복잡하고 파rameterized된 주행 시나리오를 체계적으로 생성할 수 있는 자율주행 시뮬레이션을 위한 프로그래밍 기반 테스트 프레임워크이다. 이는 자동화되고 재현 가능한 시뮬레이션 기반 테스트를 통해 신경망 기반 주행 시스템에서의 극단 케이스를 드러내며 높은 테스트 커버리지 달성한다.

ABSTRACT

Systematic testing of autonomous vehicles operating in complex real-world scenarios is a difficult and expensive problem. We present Paracosm, a reactive language for writing test scenarios for autonomous driving systems. Paracosm allows users to programmatically describe complex driving situations with specific visual features, e.g., road layout in an urban environment, as well as reactive temporal behaviors of cars and pedestrians. Paracosm programs are executed on top of a game engine that provides realistic physics simulation and visual rendering. The infrastructure allows systematic exploration of the state space, both for visual features (lighting, shadows, fog) and for reactive interactions with the environment (pedestrians, other traffic). We define a notion of test coverage for Paracosm configurations based on combinatorial testing and low dispersion sequences. Paracosm comes with an automatic test case generator that uses random sampling for discrete parameters and deterministic quasi-Monte Carlo generation for continuous parameters. Through an empirical evaluation, we demonstrate the modeling and testing capabilities of Paracosm on a suite of autonomous driving systems implemented using deep neural networks developed in research and education. We show how Paracosm can expose incorrect behaviors or degraded performance.

연구 동기 및 목표

• 실제로 재현하기 어려우며 비용이 많이 드는 복잡하고 현실적인 시나리오에서 자율주행 시스템을 체계적으로 테스트하는 데 도전하는 것.
• GUI 기반 또는 고정된 환경 설계에 의존하는 기존 시뮬레이션 도구의 한계를 극복하여 확장성과 재현 가능성을 향상시키는 것.
• 시뮬레이션 내에서 도로 배치, 환경 조건, 액터 행동(예: 보행자, 차량)에 대한 정밀하고 프로그래밍 기반의 제어를 가능하게 하는 것.
• 이산 변수와 연속 변수 양쪽에 대해 매개변수 공간의 최대 탐색을 가능하게 하는 커버리지 기반 테스트 생성 전략을 제공하는 것.
• 특히 신경망 제어기를 포함한 엔드 투 엔드 자율주행 시스템에서의 귀두 케이스와 장애 모드를 발견하는 것.

제안 방법

• Paracosm는 구성 요소(예: 차량, 도로, 보행자)가 시간에 따라 입력 스트림을 처리하고 출력 스트림을 생성하는 동기 반응형 프로그래밍 모델을 사용한다.
• 각 구성 요소는 시각적, 물리적, 행동적 성질을 정의하여 게임 엔진 또는 OpenDRIVE 호환 형식 내에서 현실적인 시뮬레이션을 가능하게 한다.
• 테스트 시나리오는 매개변수화된 구성으로 정의되며, 이 매개변수들은 환경 기능(예: 조명, dense)과 액터 행동(예: 횡단, 차선 변경)을 제어한다.
• 이 프레임워크는 이산 매개변수에 대해 k-wise 조합적 커버리지, 연속 매개변수에 대해 저산산도 시퀀스를 사용하여 매개변수 공간의 균일한 커버리지 보장을 한다.
• 자동 테스트 생성기는 이산 매개변수에 대해 랜덤 샘플링을, 연속 매개변수에 대해 결정적 퀘이지-몬테카를 방법을 사용하여 커버리지 최대화를 달성한다.
• 시스템은 OpenDRIVE 형식으로 출력을 지원하여 CARLA나 AirSim과 같은 산업 표준 시뮬레이터와의 상호운용성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 복잡하고 현실적인 다양한 주행 시나리오에서 자율주행 시스템을 체계적으로 테스트할 수 있는가?
• RQ2 신경망 컴포넌트의 내부 동작이 완전히 이해되지 않은 경우, 매개변수화된 시뮬레이션 환경에서 효과적인 테스트 커버리지 기준은 무엇인가?
• RQ3 GUI 기반 또는 하드코딩된 시뮬레이션 도구에 비해 프로그래밍 기반의 반응형 프레임워크가 시나리오 생성의 재현 가능성과 확장성 향상에 얼마나 기여하는가?
• RQ4 k-wise 및 저산산도 샘플링을 활용한 커버리지 기반 테스트 생성은 자율주행 차량 제어기의 장애 모드를 얼마나 효과적으로 드러내는가?
• RQ5 Paracosm는 비핵심 환경 매개변수를 다양화함으로써 다양한 고품질 훈련 데이터를 얼마나 효과적으로 생성할 수 있는가?

주요 결과

• Paracosm는 프로그래밍 인터페이스를 통해 도로 배치, 환경 조건, 액터 행동에 대한 세밀한 제어를 가능하게 하여 복잡하고 매개변수화된 주행 시나리오를 생성할 수 있다.
• 이산 매개변수에 대해 k-wise 조합 테스팅, 연속 매개변수에 대해 저산산도 샘플링을 사용하여 매개변수 공간의 높은 커버리지 달성으로 테스트 생성의 빈틈을 줄였다.
• 사례 연구를 통해 Paracosm는 다양한 조명 및 위치 조건에서 보행자를 인식하지 못하는 등의 문제적 시나리오를 성공적으로 드러냈다.
• 시스템은 자율 제어기의 피드백 루프 행동을 시험할 수 있는 장기 지속 테스트 시나리오를 생성할 수 있었으며, 단순한 이미지 오분류가 아닌 동적 행동을 테스트할 수 있었다.
• 비핵심 매개변수(예: 차량 색상, 보행자 위치)를 다양화함으로써 레이블이 부여된 훈련 데이터 생성을 지원하여 데이터 증강이 가능했다.
• OpenDRIVE 내보내기를 통해 산업 표준 시뮬레이터와의 상호운용성을 확보하여 실용적 도입 가능성 향상