[논문 리뷰] Case Study: Verifying the Safety of an Autonomous Racing Car with a Neural Network Controller

Radoslav Ivanov, Taylor J. Carpenter외 4명|arXiv (Cornell University)|2019. 10. 24.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 11

한 줄 요약

이 논문은 신경망(NN) 컨트롤러를 사용하는 자율 주행 레이싱 카의 안전성 검증에 대한 실세계 사례 연구를 제시한다. 라이다 입력을 사용하며, 최신 검증 도구는 약 40개의 라이다 레이저까지 처리할 수 있지만, 이상적인 조건에서는 검증 결과가 안전한 실세계 행동과 강하게 상관됨을 보여주지만, 확장성과 라이다 고장에 대한 내성 문제는 여전히 남아 있다.

ABSTRACT

This paper describes a verification case study on an autonomous racing car with a neural network (NN) controller. Although several verification approaches have been proposed over the last year, they have only been evaluated on low-dimensional systems or systems with constrained environments. To explore the limits of existing approaches, we present a challenging benchmark in which the NN takes raw LiDAR measurements as input and outputs steering for the car. We train a dozen NNs using two reinforcement learning algorithms and show that the state of the art in verification can handle systems with around 40 LiDAR rays, well short of a typical LiDAR scan with 1081 rays. Furthermore, we perform real experiments to investigate the benefits and limitations of verification with respect to the sim2real gap, i.e., the difference between a system's modeled and real performance. We identify cases, similar to the modeled environment, in which verification is strongly correlated with safe behavior. Finally, we illustrate LiDAR fault patterns that can be used to develop robust and safe reinforcement learning algorithms.

연구 동기 및 목표

• 실제 고차원 시스템에서 신경망 컨트롤러에 대한 기존 공식 검증 도구의 확장성을 평가하기 위해.
• 시뮬레이션 기반 검증과 실제 환경에서의 안전성 성능 간 상관관계, 특히 시뮬레이션에서 실제 환경으로의 격차(sim2real gap)에 대해 조사하기 위해.
• 안전성을 해칠 수 있는 라이다 고장 패턴을 규명하고, 강화학습 및 검증에 미치는 영향을 탐색하기 위해.
• 현재의 딥 강화학습(DRL) 알고리즘의 한계를 평가하여 자율 시스템용 안정적이고 검증 가능한 컨트롤러를 생성할 수 있는지 확인하기 위해.

제안 방법

• 자전거 역학 모델과 라이다 관측 모델을 개발하여 주행 환경의 차량 상태를 레이저 측정값으로 매핑하였다.
• 원시 라이다 입력과 조향 출력을 사용하여 DDPG 및 TD3 강화학습 알고리즘을 통해 12개의 엔드 투 엔드 신경망 컨트롤러를 훈련시켰다.
• Verisig 검증 도구를 적용하여, 불확실한 초기 조건 하에서도 신경망 제어 차량이 벽에 충돌하지 않도록 안전 범위 내에 머무르는지 확인하였다.
• 라이다 고장(예: 반사로 인한 잘못된 음성 신호)을 시뮬레이션하고, 실제 실험과 고장 주입 시뮬레이션 간 충돌 결과를 비교하였다.
• 도달 가능성 분석을 통해 차량 상태의 시간에 따른 변화를 추적하였으며, 하이브리드 시스템 모델링과 신경망 검증 기법을 융합하였다.
• 라이다 레이저 수(최대 약 40개)와 신경망 크기(최대 약 250개의 뉴런)를 변화시켜 검증 성능을 평가하고, 확장성과 민감도를 분석하였다.

실험 결과

연구 질문

• RQ1 현재의 공식 검증 도구는 고차원 라이다 입력을 사용하는 신경망 컨트롤러를 갖춘 자율 주행 레이싱 카의 복잡성 처리가 가능한가?
• RQ2 시뮬레이션 기반 검증 결과는 실제 환경 배포 시 안전한 행동을 얼마나 잘 예측하는가, 특히 시뮬레이션에서 실제 환경으로의 격차를 고려할 때?
• RQ3 라이다 고장 패턴(예: 반사)이 얼마나 심각한 불안전 행동을 유도하는가, 그리고 이러한 고장을 시뮬레이션에서 신뢰성 있게 모델링할 수 있는가?
• RQ4 기존의 딥 강화학습 알고리즘이 안전하고 라이다 고장에 내성을 갖춘 컨트롤러를 생성할 수 있으며, 그러한 컨트롤러는 공식적으로 검증 가능할 수 있는가?

주요 결과

• 최신 검증 도구인 Verisig는 약 40개의 라이다 레이저까지만 처리할 수 있었으며, 일반적으로 1081개의 레이저를 갖는 라이다 스캔에는 미치지 못했다.
• 라이다 반사면을 최소화한 이상적인 조건에서는 검증 결과가 안전한 실세계 행동과 강하게 상관되었으며, 정확한 시뮬레이션 모델이 신뢰할 수 있는 검증을 가능하게 함을 시사했다.
• 실제 환경에서 반사면이 존재할 경우 라이다 고장으로 인해 충돌이 발생하였으며, 이러한 고장을 무작위로 라이다 레이저를 제거하는 방식으로 시뮬레이션에서 재현할 수 있었고, 유사한 충돌 패턴을 유도하였다.
• 라이다 고장을 시뮬레이션할 수는 있었지만, 현재의 DDPG 및 TD3 알고리즘으로는 이러한 고장에 내성을 갖춘 강력한 DRL 컨트롤러를 훈련시키는 것은 불가능했다.
• 유사한 크기의 신경망이지만 다른 훈련 알고리즘을 사용한 경우, 입력의 미세한 변동에 대해 서로 다른 민감도를 보였으며, 일부는 초기 조건의 작은 변화에도 크게 다른 경로를 생성하였다.
• 검증의 확장성은 여전히 주요 장애물이며, 벽과의 상호작용 가능한 조합의 기하급수적 증가로 인해 라이다 레이저 수가 증가할수록 복잡도가 기하급수적으로 증가한다.