[논문 리뷰] End-to-end Autonomous Driving using Deep Learning: A Systematic Review

Apoorv Singh|arXiv (Cornell University)|2023. 08. 27.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 체계적 리뷰는 딥 러닝을 활용한 엔드 투 엔드 자율주행 분야의 최근 발전을 종합적으로 분석하며, 이민 학습, 강화 학습, 보조 과제 학습, 그리고 트레이너-스터던트 프레임워크에 초점을 맞춘다. 연구는 방법론에 대한 종합적인 분류 체계를 제공하고, 장테일 시나리오에서의 안전성과 해석 가능성과 같은 핵심 과제를 부각시키며, 향후 연구 방향으로 협업 학습, 확산 모델 기반 시뮬레이션, 일반화 능력 향상 및 실세계 적용을 위한 기초 모델을 제안한다.

ABSTRACT

End-to-end autonomous driving is a fully differentiable machine learning system that takes raw sensor input data and other metadata as prior information and directly outputs the ego vehicle's control signals or planned trajectories. This paper attempts to systematically review all recent Machine Learning-based techniques to perform this end-to-end task, including, but not limited to, object detection, semantic scene understanding, object tracking, trajectory predictions, trajectory planning, vehicle control, social behavior, and communications. This paper focuses on recent fully differentiable end-to-end reinforcement learning and deep learning-based techniques. Our paper also builds taxonomies of the significant approaches by sub-grouping them and showcasing their research trends. Finally, this survey highlights the open challenges and points out possible future directions to enlighten further research on the topic.

연구 동기 및 목표

• 딥 러닝 및 강화 학습 기반의 엔드 투 엔드 자율주행 기술에 대한 종합적이고 최신의 설문 조사를 제공하기 위해.
• 최근의 접근 방식을 이민 학습, 강화 학습, 보조 과제 학습, 트레이너-스터던트 프레임워크의 네 가지 주요 파라다임으로 분류하기 위해.
• 엔드 투 엔드 시스템에서의 안전성, 해석 가능성, 전이 학습, 인간-차량 상호작용과 관련된 열린 과제를 식별하기 위해.
• 협업 엔드 투 엔드 학습, 확산 모델을 활용한 텍스트 기반 장면 생성, 일반화 능력 향상을 위한 기초 모델 활용과 같은 향후 연구 방향을 제안하기 위해.
• 기존 설문 조사의 격차를 메우기 위해 최근의 최첨단 발전에 집중하면서 오래된 또는 부분적으로 다뤄진 방법론은 배제하기 위해.

제안 방법

• 본 논문은 최근 엔드 투 엔드 자율주행 시스템에 대한 체계적 문헌 리뷰를 수행하며, 이민 학습 또는 강화 학습을 통해 훈련된 완전히 미분 가능한 모델에 중점을 둔다.
• 연구는 네 가지 범주로 분류된 방법론에 대한 분류 체계를 도입한다: 이민 학습, 강화 학습, 보조 과제(예: 인식, 예측)를 통한 엔드 투 엔드 학습, 트레이너-스터던트 정규화.
• 이 리뷰는 이론적 기초를 포함하며, 입력-출력 매핑의 수학적 공식화를 다룬다: $ X \to Y $, 여기서 $ X $ 는 원시 센서 데이터(카메라, 라이다, IMU, GPS, 고정밀 지도)이고 $ Y $ 는 제어 출력(조향, 가속, 브레이크)이다.
• 주요 손실 함수를 분석하며, 인식(분류, 회귀, IoU)과 계획(마진 최대화 손실)을 결합한 다중 과제 손실 함수를 통해 특징 학습을 이끌고 해석 가능성을 향상시킨다.
• 엔드 투 엔드 학습에서 사용된 벤치마크와 데이터셋을 평가하며, 캘리브레이션된 센서 세트를 갖춘 인간 주행 차량에서 유래한 대규모이고 표(annotation) 비용이 낮은 데이터의 중요성을 강조한다.
• 향후 방법론적 방향으로는 희귀한 실패 사례 시나리오를 생성하기 위해 확산 모델을 활용하고, 다양한 주행 데이터로 사전 훈련된 기초 모델을 활용해 더 나은 제로샷 일반화 성능을 달성하기 위한 방향을 제안한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델은 특징 학습과 시스템 최적화 측면에서 전통적인 모듈식 파ip라인과 어떻게 다릅니까?
• RQ2 최근 엔드 투 엔드 자율주행 연구에서 지배적인 파라다임은 무엇이며, 성능과 확장성 측면에서 어떻게 비교될 수 있습니까?
• RQ3 엔드 투 엔드 시스템을 구현할 때의 핵심 과제는 무엇이며, 특히 장테일 시나리오 대응, 안전성 확보, 해석 가능성 유지와 관련하여 어떻게 평가될 수 있습니까?
• RQ4 보조 과제(예: 객체 탐지, 깊이 추정)는 엔드 투 엔드 주행 정책의 성능과 내구성에 어떻게 기여합니까?
• RQ5 확산 모델과 기초 모델과 같은 신규 기술은 데이터 효율성과 실세계 일반화 능력의 현재 한계를 극복하는 데 어떻게 활용될 수 있습니까?

주요 결과

• 엔드 투 엔드 시스템은 인식, 계획, 제어 영역의 특징을 통합 최적화함으로써 수동으로 설정된 히ュ리스틱에 의존도를 낮추며 모듈식 파이프라인을 능가하는 성능을 보인다.
• 이민 학습 기반 모델은 ALVINN 및 Nvidia의 초기 네트워크에서 영감을 얻어 카메라와 라이다 입력만으로 다양한 조건에서 차선 유지가 가능하다.
• 강화 학습 기반 접근 방식, 예를 들어 Wayve의 시스템은 단 10개의 시연 에피소드만으로도 효과적인 정책을 학습할 수 있어 뛰어난 샘플 효율성을 보인다.
• 보조 지도를 통한 다중 과제 훈련은 특징 학습을 향상시키며, 마진 최대화 손실과 같은 손실 함수를 통해 해석 가능한 네트워크 출력을 가능하게 한다.
• 확산 모델은 희귀하거나 실패가 발생하기 쉬운 주행 시나리오를 생성하는 데 잠재력을 보이며, 장테일 엣지 케이스에 대한 더 강력한 훈련을 가능하게 한다.
• 대규모 주행 데이터로 사전 훈련된 기초 모델은 제로샷 일반화 능력과 시뮬레이션에서 실제 환경으로의 전이 성능 향상에 크게 기여할 수 있다.