[논문 리뷰] AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles

Jingkang Wang, Ava Pun외 6명|arXiv (Cornell University)|2021. 01. 16.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 9

한 줄 요약

AdvSim는 물리적으로 타당하고 안전성이 중요한 시나리오를 생성하기 위해 액터의 경로를 왜곡하고 센서 데이터를 이를 바탕으로 갱신하는 적대적 프레임워크이다. 다양한 시스템에서 수천 개의 고장 유도 시나리오를 식별하고, 적대적 훈련에 사용될 경우 강건성을 향상시켜 기준 시나리오에서 32.0%의 충돌률을 달성한다.

ABSTRACT

As self-driving systems become better, simulating scenarios where the autonomy stack may fail becomes more important. Traditionally, those scenarios are generated for a few scenes with respect to the planning module that takes ground-truth actor states as input. This does not scale and cannot identify all possible autonomy failures, such as perception failures due to occlusion. In this paper, we propose AdvSim, an adversarial framework to generate safety-critical scenarios for any LiDAR-based autonomy system. Given an initial traffic scenario, AdvSim modifies the actors' trajectories in a physically plausible manner and updates the LiDAR sensor data to match the perturbed world. Importantly, by simulating directly from sensor data, we obtain adversarial scenarios that are safety-critical for the full autonomy stack. Our experiments show that our approach is general and can identify thousands of semantically meaningful safety-critical scenarios for a wide range of modern self-driving systems. Furthermore, we show that the robustness and safety of these systems can be further improved by training them with scenarios generated by AdvSim.

연구 동기 및 목표

• 자율주행 차량의 완전 자율 주행 스택에 대해 확장 가능하고 물리적으로 타당하며 안전성이 중요한 시나리오 생성의 부족을 해결하기 위해.
• 기존 수동 또는 계획 모듈 전용 시나리오 생성 방식이 인식 및 다중 액터 고장 모드를 놓치는 한계를 극복하기 위해.
• 왜곡된 경로에서 유도되는 센서 수준의 영향을 시뮬레이션하여 라이다 기반 자율주행 시스템에 대해 자동화된 블랙박스 적대적 테스팅을 가능하게 하기 위해.
• 고장 모드를 드러내는 적대적으로 생성된 시나리오로 훈련하여 시스템의 강건성을 향상시키기 위해.
• 다양한 액터와 현실적인 운동 왜곡을 포함하는 의미적으로 유의미한 복잡한 교통 시나리오를 생성하기 위해.

제안 방법

• AdvSim은 물리적으로 타당한 액터 경로 왜곡에 대한 블랙박스 적대적 공격으로서 시나리오 생성을 정식화한다.
• 경로 샘플링과 충돌 회피를 통해 물리적 타당성을 확보하면서도, 액터 행동(예: 경로 이동, 급격한 차선 변경 등)을 왜곡하여 초기 교통 시나리오를 수정한다.
• 왜곡된 세계 상태에 기반해 실시간으로 라이다 센서 데이터를 갱신하여 자율주행차량이 장면을 어떻게 관찰할지 시뮬레이션한다.
• 충돌 가능성, 인간 주행 경로와의 L2 거리, 운동 편안함(자기력, 횡방향 가속도) 등의 다중 지표를 조합한 적대적 목적 함수를 사용한다.
• 다양한 블랙박스 최적화 알고리즘(Bayesian Optimization, NES, Bandit-TD 등)을 사용하여 고장 가능성 최대화를 위한 왜곡을 탐색한다.
• 다중 액터 왜곡을 지원하며, 인식, 예측, 계획을 포함한 전반적인 자율주행 스택을 종단 간(end-to-end)으로 평가한다.

실험 결과

연구 질문

• RQ1 액터 경로에 대한 적대적 왜곡이 자율주행 스택의 고장을 유도하는 물리적으로 타당하고 안전성이 중요한 시나리오를 생성할 수 있는가?
• RQ2 왜곡된 액터의 수가 생성된 시나리오의 복잡성과 고장 가능성에 어떤 영향을 미치는가?
• RQ3 비연속적이고 저차원의 비용 함수 조건에서 적대적 시나리오를 생성하기 위해 가장 효율적인 블랙박스 최적화 알고리즘은 무엇인가?
• RQ4 AdvSim로 생성된 시나리오를 훈련에 사용할 경우 자율주행 시스템의 강건성과 안전성이 향상될 수 있는가?
• RQ5 다양한 적대적 목적 함수는 어떻게 서로 다른 다양성과 효과적인 고장 시나리오 생성에 영향을 미치는가?

주요 결과

• 5명의 액터를 왜곡할 경우(𝑚=5), AdvSim은 기준 시나리오에서 5초 이내에 32.0%의 충돌률을 기록했으며, 가장 가까운 거리 최소화 기반(Baselines)의 13.5% 및 최대 마진 손실 기반의 18.3%를 크게 초월했다.
• 모의 학습, 충돌, 안전 비용을 조합한 하이브리드 적대적 목적 함수 𝒪₃가 가장 높은 고장률(32.0%)과 가장 열악한 계획 성능(L2 인간: 6.63 m, 자기력: 2.18 m/s³)을 기록했다.
• 베이지안 최적화(BO)가 가장 효율적인 검색 알고리즘이었으며, 75회의 쿼리로 28.5%의 최고 충돌률을 기록했고, GA(1600회 쿼리)와 NES(400회 쿼리)를 모두 압도했다.
• 왜곡된 액터 수가 증가함에 따라(𝑚=3에서 𝑚=5로), 시나리오의 복잡성은 증가했지만, 물리적으로 타당한 경로를 찾는 데 어려움이 커져 충돌률은 감소했다.
• AdvSim로 생성된 시나리오를 활용한 적대적 훈련은 시스템의 강건성을 향상시켰으며, 이는 프레임워크가 사전적으로 안전성을 향상시키는 데 활용될 수 있음을 보여주었다.
• 정성적 결과는 AdvSim이 다중 액터 간 상호작용(예: 보호 없는 좌회전, 차선 통합 갈등 등)을 포함한 의미적으로 의미 있는 고장 케이스를 생성함을 보여주었다.