[논문 리뷰] Corner Case Generation and Analysis for Safety Assessment of Autonomous Vehicles

Haowei Sun, Shuo Feng외 2명|arXiv (Cornell University)|2021. 02. 06.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 4

한 줄 요약

이 논문은 마코프 결정 과정(MDP)과 딥 강화학습(DRL)을 사용하여 자율주행차 의사결정 시스템에서 고차원의 역행성 사례를 통합적으로 생성하고 분석하는 프레임워크를 제안한다. 배경 차량(BV) 정책을 더 공격적으로 학습시켜 안전성에 치명적인 시나리오를 체계적으로 생성하고, 주성분 분석(PCA)과 군집화를 통한 특징 추출을 통해 대표적이고 유의미한 역행성 사례를 식별한다. 이는 고속도로 주행 시뮬레이션에서 실감나고 영향력 있는 고장 모드를 효과적으로 규명한 바 있다.

ABSTRACT

Testing and evaluation is a crucial step in the development and deployment of Connected and Automated Vehicles (CAVs). To comprehensively evaluate the performance of CAVs, it is of necessity to test the CAVs in safety-critical scenarios, which rarely happen in naturalistic driving environment. Therefore, how to purposely and systematically generate these corner cases becomes an important problem. Most existing studies focus on generating adversarial examples for perception systems of CAVs, whereas limited efforts have been put on the decision-making systems, which is the highlight of this paper. As the CAVs need to interact with numerous background vehicles (BVs) for a long duration, variables that define the corner cases are usually high dimensional, which makes the generation a challenging problem. In this paper, a unified framework is proposed to generate corner cases for the decision-making systems. To address the challenge brought by high dimensionality, the driving environment is formulated based on Markov Decision Process, and the deep reinforcement learning techniques are applied to learn the behavior policy of BVs. With the learned policy, BVs will behave and interact with the CAVs more aggressively, resulting in more corner cases. To further analyze the generated corner cases, the techniques of feature extraction and clustering are utilized. By selecting representative cases of each cluster and outliers, the valuable corner cases can be identified from all generated corner cases. Simulation results of a highway driving environment show that the proposed methods can effectively generate and identify the valuable corner cases.

연구 동기 및 목표

• 자율주행차 의사결정 시스템에서 안전성에 치명적인 역행성 사례를 체계적으로 생성하는 데에 부족한 방법을 보완하기 위해.
• 복잡한 주행 환경에서 다수의 배경 차량(BV)이 참여하는 실제 교통 상호작용의 고차원성 문제를 해결하기 위해.
• 딥 강화학습을 통해 공격적인 BV 행동 정책을 학습시켜 자연주의 주행 데이터보다 더 현실적이고 다양한 역행성 사례를 생성하기 위해.
• 효과적인 CAV 평가 및 모델 개선을 위해 대표적인 군집과 이질적 사례를 포함한 '유의미한' 역행성 사례를 식별하고 추출하기 위해.
• 시각 인식 수준의 적대적 예제가 아닌 의사결정 실패에 중점을 둔 확장 가능한 데이터 기반의 CAV 안전 평가 방법을 제공하기 위해.

제안 방법

• 배경 차량(BV)의 정책 학습을 가능하게 하기 위해 시간적 종속성을 모델링하고자 교통 환경을 마코프 결정 과정(MDP)으로 정식화한다.
• CAV 상호작용 중 역행성 사례 생성 확률을 극대화하는 데 목적이 있는 BV 행동 정책을 딥 강화학습(DRL)을 통해 학습시킨다.
• 자연주의 주행 데이터(NDD)에서 유도된 제약 조건을 통합하여 생성된 행동가 실현 가능하고 현실적인 유지되도록 하여 시뮬레이션의 정밀도를 향상시킨다.
• 고차원의 역행성 사례 특징의 차원을 줄이기 위해 주성분 분석(PCA)을 적용하여 군집화 효율성을 높인다.
• PCA로 투영된 특징에 대해 DBSCAN 군집화를 적용하여 유사한 역행성 사례의 별도의 군집과 이질적 사례(극단적 또는 희귀한 시나리오)를 식별한다.
• 각 군집에서 대표 사례와 이질적 사례를 선별하여 심층 분석 및 모델 개선을 위한 '유의미한' 역행성 사례로 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 고차원적이고 안전성에 치명적인 역행성 사례를 자율주행차 의사결정 시스템에서 체계적으로 생성할 수 있는가?
• RQ2 딥 강화학습을 사용해 배경 차량을 얼마나 더 공격적이고 현실적인 역행성 사례를 생성하도록 훈련시킬 수 있는가?
• RQ3 특징 추출 및 군집화 기법을 통해 대량의 생성된 시나리오에서 가장 정보감 있는 대표성 있는 역행성 사례를 어떻게 식별할 수 있는가?
• RQ4 생성된 역행성 사례에서 가장 흔한 의사결정 실패 유형(예: 차선 충돌, 공격적인 차선 변경)은 무엇인가?
• RQ5 제약 조건이 있는 DRL 훈련을 통해 생성된 역행성 사례가 자연주의 주행 행동과 일치하고 현실적으로 유지될 수 있는가?

주요 결과

• 제안된 DRL 기반 프레임워크는 자연주의 주행 데이터보다 고속도로 주행 시뮬레이션에서 안전성에 치명적인 역행성 사례의 밀도를 더 높게 생성하였다.
• PCA와 DBSCAN을 활용해 '공격적인 차선 변경'과 '차선 충돌'이라는 두 주요 군집과 고유한 고장 역학을 보이는 이질적 사례를 식별하였다.
• '공격적인 차선 변경' 군집은 갑작스러운 차선 변경으로 인한 뒷차 추돌 사고를 특징으로 하며, 횡방향 충돌 회피 기능의 심각한 결함을 시사한다.
• '차선 충돌' 군집은 세 가지 하위 유형을 포함한다: 측면 충돌, 차선 변경 중 추돌, 차선 정렬 후 지연된 추돌로, 시나리오별 고장 패턴을 보여준다.
• 이질적 사례(D)는 차선 변경 후 지연된 추돌과 같은 희귀하고 극단적인 시나리오를 드러내어, 개선된 CAV 의사결정으로 회피 가능한 엣지 케이스임을 확인하였다.
• 분석 결과, CAV 모델은 차선 변경 중 횡방향 충돌 회피 기능에 심각한 한계를 보였으며, 이는 모델 개선의 핵심 영역임을 시사한다.