[논문 리뷰] Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving

Wei Xiao, Tsun-Hsuan Wang외 4명|arXiv (Cornell University)|2022. 03. 04.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 시각 기반 엔드 투 엔드 자율 주행을 위한 미분 가능 제어 장벽 함수(dCBF) 기반 프레임워크를 제안하며, 학습 가능한 장벽 레이어를 통해 안전 보장을 보장한다. 미분 가능 정수계획문제를 통해 딥 네트워크에 dCBF를 통합함으로써, 눈이나 얼음으로 인한 도로 조건과 같은 도전적인 상황에서도 실제 테스트 및 시뮬레이션 환경에서 안전한 차선 유지 및 장애물 회피를 달성한다. 이는 지상 진실 상태 정보에 대한 최소한의 의존도를 가진다.

ABSTRACT

Guaranteeing safety of perception-based learning systems is challenging due to the absence of ground-truth state information unlike in state-aware control scenarios. In this paper, we introduce a safety guaranteed learning framework for vision-based end-to-end autonomous driving. To this end, we design a learning system equipped with differentiable control barrier functions (dCBFs) that is trained end-to-end by gradient descent. Our models are composed of conventional neural network architectures and dCBFs. They are interpretable at scale, achieve great test performance under limited training data, and are safety guaranteed in a series of autonomous driving scenarios such as lane keeping and obstacle avoidance. We evaluated our framework in a sim-to-real environment, and tested on a real autonomous car, achieving safe lane following and obstacle avoidance via Augmented Reality (AR) and real parked vehicles.

연구 동기 및 목표

• 자율 주행을 위한 인식 기반 엔드 투 엔드 학습 시스템에서 안전 보장의 부족을 해결하기 위해.
• 지상 진실 상태 정보가 제공되지 않는 고차원 시각 관측 공간에서 안전한 주행을 가능하게 하기 위해.
• 미분 가능 제어 장벽 함수를 사용하여 제어 정책의 과도한 경계 조건을 줄이면서도 엄격한 안전 제약 조건을 유지하기 위해.
• 전체 프레임워크를 시뮬레이션 및 실제 자율 주행 차량에 배포하여 검증하기 위해.
• 시각 입력만을 사용하여 눈, 얼음, 시야가 뚜렷하지 않은 환경 도전 상황에서도 강건성을 입증하기 위해.

제안 방법

• 원시 카메라 입력에서 차량 상태를 추정하는 시각 기반 상태 추정 모듈을 통합하여, 지상 진실 상태 정보 없이도 안전한 제어를 가능하게 한다.
• 신경망 파이프라인 내부에 미분 가능 제어 장벽 함수(dCBF) 레이어를 적용하여, 경사 하강법을 통한 엔드 투 엔드 학습이 가능하게 한다.
• 시스템 동역학과 안전 제약 조건을 모두 만족하는 안전한 제어 입력을 계산하기 위해 미분 가능 정수계획문제(QP)를 사용한다.
• 역전파를 통해 전체 시스템을 엔드 투 엔드로 학습시키며, dCBF 파rameter와 신경망 가중치를 함께 최적화한다.
• 학습된 신경 정책와 미분 가능한 안전 레이어를 결합한 BarrierNet 아키텍처를 적용하여, 해석 가능하고 적응 가능한 안전 행동을 가능하게 한다.
• 시뮬레이션에서 실제 환경으로의 검증을 수행하고, 증강 현실을 활용하여 실제 자율 주행 차량에 장애물 시뮬레이션을 적용한다.

실험 결과

연구 질문

• RQ1 미분 가능 제어 장벽 함수는 엔드 투 엔드 시각 기반 자율 주행에 효과적으로 통합되어 지상 진실 상태 감독 없이도 안전성을 보장할 수 있는가?
• RQ2 dCBF의 통합은 복잡한 주행 상황에서 학습된 신경 제어기의 과도한 경계 조건과 성능에 어떤 영향을 미치는가?
• RQ3 명시적인 상태 정보가 제공되지 않을 경우, 시각 기반 상태 추정 모듈이 안전한 제어를 얼마나 잘 지원할 수 있는가?
• RQ4 눈, 얼음, 시야가 뚜렷하지 않은 환경 도전 상황에서 실제 환경 조건에서의 시스템 성능은 어떠한가?
• RQ5 BarrierNet 아키텍처는 장애물 회피가 필요한 경우에만 참조 경로에서 벗어나야 할 때만 안전 보장을 유지할 수 있는가?

주요 결과

• 제안된 프레임워크는 지상 진실 상태 정보가 제공되지 않는 상황에서도 시뮬레이션 및 실제 테스트 모두에서 안전한 차선 유지 및 장애물 회피를 달성한다.
• BarrierNet 레이어는 장애물이 감지될 경우 제어 입력을 동적으로 조정함으로써 충돌 확률과 운전사의 간섭 빈도를 효과적으로 감소시켰다.
• 얼음으로 뒤덮인 도로에서 급격한 코너를 주행할 경우, 차선 유지 dCBF를 적용한 모델이 dCBF 없이 사용한 기준 모델보다 차선 내에서 더 안정적으로 주행함을 입증하여 강건성을 향상시켰다.
• 기본 제어 입력이 장애물을 피하지 못할 경우, dCBF 레이어가 실시간으로 궤적을 수정하여 실패 조건에서 안전 레이어가 활성화될 수 있음을 확인했다.
• 눈이 많이 오는 상황에서도 빛의 신호가 뚜렷하지 않은 상황에서도 장애물과의 안전한 거리를 유지함으로써, dCBF 기반 안전 메커니즘이 뛰어난 내구성을 보였다.
• BarrierNet의 출력은 장애물이나 차선 경계에 가까워질 경우에만 참조 제어에서 벗어나며, 이는 적응 가능한 안전 강제 조건을 효과적으로 구현한 것을 보여준다.