[논문 리뷰] A Real-time Critical-scenario-generation Framework for Testing Autonomous Driving System

Yizhou Xie, Kunpeng Dai외 1명|arXiv (Cornell University)|2022. 06. 02.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 자율 주행 시스템을 테스트하기 위한 실시간 비상상황 생성(RTCSG) 프레임워크를 제안한다. 공격적인 주행 알고리즘과 자가 적응 비용 함수를 사용하여 실패 유도 상황을 효율적으로 생성한다. 이 방법은 강화 학습 기반 접근 방식보다 16배 높은 효율성을 달성하면서도 블랙박스 제어기의 비상상황 생성에서 뛰어난 안정성과 성공률을 유지도한다.

ABSTRACT

In order to find the most likely failure scenarios which may occur under certain given operation domain, critical-scenario-based test is supposed as an effective and widely used method, which gives suggestions for designers to improve the developing algorithm. However, for the state of art, critical-scenario generation approaches commonly utilize random-search or reinforcement learning methods to generate series of scenarios for a specific algorithm, which takes amounts of computing resource for testing a developing target that is always changing, and inapplicable for testing a real-time system. In this paper, we proposed a real-time critical-scenario-generation (RTCSG) framework to address the above challenges. In our framework, an aggressive-driving algorithm is proposed in controlling the virtual agent vehicles, a specially designed cost function is presented to guide scenarios to evolve towards critical conditions, and a self-adaptive coefficient iteration is designed that enable the approach to operate successfully in different conditions. With our proposed method, the critical-scenarios can be directly generated for the target under test which is a black-box system, and the real-time critical-scenario test can be brought into reality. The simulation results show that our approach is able to obtain more critical scenarios in most conditions than current methods, with a higher stability of success. For a real-time testing, our approach improves the efficiency around 16 times.

연구 동기 및 목표

• 실시간 블랙박스 자율 주행 시스템에 적합하지 않은 기존 시나리오 생성 방법의 비효율성과 적용 불가능성을 해결하기 위해.
• 비싼 학습 과정이나 시뮬레이션 롤백에 의존하지 않고 실시간으로 비상상황을 생성할 수 있는 프레임워크를 개발하기 위해.
• 다양한 초기 조건 하에서 실패를 유도하는 시나리오 생성의 안정성과 성공률을 향상시키기 위해.
• 대상 시스템에 맞는 적대적 시나리오를 직접 실시간으로 생성함으로써 자율 주행 제어기의 직접적 실시간 테스트를 가능하게 하기 위해.

제안 방법

• 프레임워크는 가상 에이전트의 적대적 행동을 시뮬레이션하기 위해 공격적인 주행 알고리즘을 활용하여, 에고 차량과의 비상 상호작용을 유도한다.
• 근접도, 상대 속도, 궤도 이탈 정도를 기반으로 위험 수준을 정량화하는 맞춤형 비용 함수를 설계하여 근접 사고 조건을 유도하지만 극단적인 주행 동작은 피한다.
• 자기 적응 계수 반복 기법을 통해 초기 조건에 따라 변화하는 상황에서도 성능을 유지하고 수렴성을 향상시키기 위해 비용 함수의 매개변수를 동적으로 조정한다.
• 이 방법은 온라인으로 작동하여 시뮬레이션 롤백이나 장기적인 학습 단계 없이 실시간으로 시나리오를 생성한다.
• 이 접근 방식은 내부 논리나 제어 정책에 접근할 수 없는 블랙박스 제어기에 직접 적용되어 내부 구조 없이도 시나리오 생성이 가능하다.
• 다양한 초기 상태를 사용한 시뮬레이션을 통해 평가되었으며, 성능은 시나리오 점수와 스텝 효율성으로 측정되었다.

Figure 1 : Diagram of a vehicle-vehicle cut-in scenario.

실험 결과

연구 질문

• RQ1 강화 학습이나 시뮬레이션 롤백에 의존하지 않고 실시간으로 블랙박스 자율 주행 제어기를 효과적으로 대상으로 삼을 수 있는 실시간 시나리오 생성 프레임워크를 개발할 수 있는가?
• RQ2 자기 적응 계수를 가진 제안된 비용 함수는 다양한 초기 조건에서 시나리오 생성의 안정성과 성공률을 어떻게 향상시키는가?
• RQ3 RTCSG 프레임워크는 생성 효율성과 시나리오 품질 측면에서 강화 학습 기반 및 RRT 기반 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 기존 방법이 실패하는 악조건의 초기 조건에서도 이 프레임워크는 일관되게 비상상황(특히 근접 사고)을 생성할 수 있는가?
• RQ5 에고 차량과 에이전트 차량 간의 다양한 초기 상대 위치와 속도에서 프레임워크의 성능은 어떻게 스케일링되는가?

주요 결과

• RTCSG 프레임워크는 중앙값 시나리오 점수 0.9433을 기록하여 강화 학습 기반(0.8728) 및 RRT 기반(0.8661) 방법보다 유의미하게 높아, 더 나은 시나리오 품질과 안정성을 나타낸다.
• 시험한 초기 조건의 85%에서 RTCSG는 강화 학습 기반 및 RRT 기반 방법보다 높은 시나리오 점수를 기록하여 뛰어난 신뢰성을 입증한다.
• 스텝 소비 비율을 기준으로 RTCSG는 강화 학습 기반 방법 대비 중앙값 기준 16.0025배 높은 생성 효율성을 확보했다.
• 성능 측면에서 경미한 이상치도 거의 없고 극단적 이상치도 없어, 다양한 시나리오에서 일관되고 견고한 동작을 보였다.
• 강화 학습 및 RRT 방법이 종종 실패하거나 과도한 스텝 수가 필요한 악조건의 초기 조건(예: 큰 초기 거리 또는 속도 차이)에서도 RTCSG는 높은 성능을 유지했다.
• 자기 적응 계수 반복 기법은 다양한 초기 상태에서의 수렴 능력을 크게 향상시켜 초기 조건에 대한 민감도를 감소시켰다.

Figure 2 : Structure of RTCSG framework.