[논문 리뷰] Adversarial Evaluation of Autonomous Vehicles in Lane-Change Scenarios

Baiming Chen, Xiang Chen외 2명|arXiv (Cornell University)|2020. 04. 14.

Autonomous Vehicle Technology and Safety참고 문헌 37인용 수 13

한 줄 요약

이 논문은 동적이고 도전적인 차선 변경 시나리오를 생성하기 위해 딥 강화학습을 활용한 적응형, 적대적 평가 프레임워크를 제안한다. 앙상블 정책과 비모수 베이지안 클러스터링을 활용하여 룰 기반 및 학습 기반 주행 모델의 성능 취약점을 효율적으로 식별하고 이용함으로써 강화학습 모델에서 90.6%의 충돌률을 기록하여 정적 방법에 비해 시나리오 다양성과 평가 효율성이 뛰어나다는 것을 입증한다.

ABSTRACT

Autonomous vehicles must be comprehensively evaluated before deployed in cities and highways. However, most existing evaluation approaches for autonomous vehicles are static and lack adaptability, so they are usually inefficient in generating challenging scenarios for tested vehicles. In this paper, we propose an adaptive evaluation framework to efficiently evaluate autonomous vehicles in adversarial environments generated by deep reinforcement learning. Considering the multimodal nature of dangerous scenarios, we use ensemble models to represent different local optimums for diversity. We then utilize a nonparametric Bayesian method to cluster the adversarial policies. The proposed method is validated in a typical lane-change scenario that involves frequent interactions between the ego vehicle and the surrounding vehicles. Results show that the adversarial scenarios generated by our method significantly degrade the performance of the tested vehicles. We also illustrate different patterns of generated adversarial environments, which can be used to infer the weaknesses of the tested vehicles.

연구 동기 및 목표

• 희귀한 자연주의 데이터에 의존하는 현재의 자율주행차 평가 방법의 비효율성과 정적 성격을 해결하기 위해.
• 주변 차량을 적대적 적응자로 모델링하여 자동차의 차선 변경 중 혼란을 최대화하는 동적 고위험 시나리오를 생성하는 적응형, 피드백 루프 프레임워크를 개발하기 위해.
• 적대적 정책 생성을 통해 자연주의 주행 데이터에 잘 드러나지 않는 희귀하고 영향력 있는 실패 모드를 발견함으로써 평가의 완전성을 향상시키기 위해.
• 비모수 베이지안 방법을 활용한 클러스터링을 통해 다양한 적대적 행동을 군집화하여 자율주행차의 취약점을 체계적으로 분석하기 위해.
• 조정 가능한 보상 초수치를 통해 적대적 이성성을 校정하여 공격성과 교통규칙 준수 간의 균형을 맞추기 위해.

제안 방법

• 프레임워크는 주변 차량을 적대적 에이전트로 간주하며, 딥 강화학습을 통해 자동차의 차선 변경 중 혼란을 최대화하도록 훈련한다.
• 다양한 국소 최적값을 탐색하기 위해 DRL 정책의 앙상블을 사용하여 생성된 적대적 시나리오의 다양성을 향상시킨다.
• 비모수 베이지안 클러스터링 방법(디리클레 과정 혼합 모델)을 적용하여 행동 패턴에 기반해 유사한 적대적 정책을 군집화한다.
• 적대적 보상 함수는 r_adv = -r_ego + β·r_rule로 정의되며, r_ego는 자동차 성능을 측정하고 r_rule은 교통규칙 위반에 대해 벌점을 적용한다.
• 프레임워크는 피드백 루프 방식으로 작동하여 자동차의 행동에 따라 실시간으로 적대적 전략을 적응시킴으로써 동적 시나리오 생성이 가능하다.
• 프레임워크는 자동차와 주변 차량 간의 상호작용을 수반하는 시뮬레이션된 차선 변경 시나리오에서 검증되었으며, 충돌률과 상태 분포 이동을 통해 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 적대적 딥 강화학습은 자율주행차 의사결정의 취약점을 드러내는 데 효과적으로 다양한 고위험 시나리오를 생성할 수 있는가?
• RQ2 앙상블 정책과 클러스터링을 사용할 경우 단일 정책 접근 방식에 비해 적대적 시나리오의 다양성과 커버리지가 어떻게 향상되는가?
• RQ3 이 프레임워크는 자연주의 주행 데이터에 잘 드러나지 않는 희귀하고 영향력 있는 실패 모드를 어느 정도 식별할 수 있는가?
• RQ4 보상 초수치 β는 적대적 행동의 이성성과 이용 가능성에 어떤 영향을 미치는가?
• RQ5 시나리오 탐색 및 성능 저하 측면에서 이 프레임워크는 정적 데이터 기반 평가 방법에 비해 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 적대적 평가 프레임워크는 룰 기반 및 강화학습 기반 차선 변경 모델의 성능을 크게 떨어뜨렸으며, 강화학습 모델에서 90.6%의 충돌률을 기록하였다.
• 적대적 시나리오의 상태 분포는 자연주의 주행 데이터에 비해 훨씬 좁고 고위험 영역에 집중되어 있어 위험한 구성 요소를 효율적으로 타겟팅하고 있음을 시사한다.
• 적대적 정책의 앙상블은 전방 차단 및 뒷차량 뒤따라오기와 같은 다양한 실패 패턴을 성공적으로 탐색하였으며, 이는 단일 정책 접근 방식이 균일하게 커버하지 못하는 영역이다.
• 비모수 베이지안 클러스터링 방법은 적대적 정책을 명확한 행동 모드로 군집화하여 실패 메커니즘의 해석 가능한 분석을 가능하게 하였다.
• 보상 초수치 β 조정을 통해 적대적 이성성을 제어할 수 있다: 낮은 β 값은 비현실적이고 규칙을 어기는 행동으로 이어지고, β=1일 때는 공격성과 현실성 간의 균형이 맞춰진다.
• 정적 자연주의 평가에 비해 희귀하고 영향력 있는 시나리오를 더 효율적으로 탐색하는 데 성공하였으며, 고차원 정책 공간에서 효율적인 탐색 알고리즘으로서의 기능을 입증하였다.