[논문 리뷰] End-to-end Autonomous Driving: Challenges and Frontiers

Li Chen, Penghao Wu외 4명|arXiv (Cornell University)|2023. 06. 29.

Autonomous Vehicle Technology and Safety인용 수 22

한 줄 요약

엔드-투-엔드 자율주행에 대한 포괄적 설문으로, 모방학습 및 강화학습 접근법, 벤치마크, 도전과제 및 향후 동향을 분석하며, 다중 모달성, 해석가능성, 월드 모델, 그리고 기초 모델에 중점을 둡니다.

ABSTRACT

The autonomous driving community has witnessed a rapid growth in approaches that embrace an end-to-end algorithm framework, utilizing raw sensor input to generate vehicle motion plans, instead of concentrating on individual tasks such as detection and motion prediction. End-to-end systems, in comparison to modular pipelines, benefit from joint feature optimization for perception and planning. This field has flourished due to the availability of large-scale datasets, closed-loop evaluation, and the increasing need for autonomous driving algorithms to perform effectively in challenging scenarios. In this survey, we provide a comprehensive analysis of more than 270 papers, covering the motivation, roadmap, methodology, challenges, and future trends in end-to-end autonomous driving. We delve into several critical challenges, including multi-modality, interpretability, causal confusion, robustness, and world models, amongst others. Additionally, we discuss current advancements in foundation models and visual pre-training, as well as how to incorporate these techniques within the end-to-end driving framework. we maintain an active repository that contains up-to-date literature and open-source projects at https://github.com/OpenDriveLab/End-to-end-Autonomous-Driving.

연구 동기 및 목표

• 모듈식 파이프라인에서 엔드-투-엔드 학습으로의 전환이 운행 안전성과 효율성을 향상시키는 동기를 부여한다.
• 엔드-투-엔드 주행에서 모방학습과 강화학습의 방법론적 풍경을 요약한다.
• 폐루프(closed-loop)와 개방형(open-loop) 설정에 대한 데이터 세트, 벤치마크, 평가 패러다임을 평가한다.
• 다중 모달 융합, 해석가능성, 일반화 등 주요 도전과제를 식별하고 잠재적 해결책을 논의한다.
• 기초 모델, 데이터 엔진, 센서 융합 전략을 포함한 미래 방향을 강조한다.

제안 방법

• 엔드-투-엔드 주행 접근법을 모방학습과 강화학습으로 분류한다.
• 모방학습 경로로서 행동 클로닝과 역적합통제(inverse optimal control)를 설명하고 그 도전과제(공변수 변화와 인과 혼동)를 다룬다.
• 주행에서의 강화학습을 검토하며, 실제 적용의 한계와 감독적 사전학습이나 특권 시뮬레이션 데이터와의 결합 시 성공 사례를 포함한다.
• CARLA 및 nuPlan 생태계를 포함한 평가 벤치마크와 시뮬레이션 기반의 폐루프 대 오프라인 오픈루프 패러다임을 논의한다.
• 엔드-투-엔드 시스템 개선 전략으로서 월드 모델, 다중 작업 학습, 정책 증류를 검토한다.
• 주행에서의 정책 학습에 있어 기초 모델과 시각적 사전학습의 역할을 고려한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 자율주행에서 사용되는 주요 패러다임과 방법론은 무엇인가(IL 대 RL)?
• RQ2 폐루프와 오픈루프 맥락에서 엔드-투-엔드 주행을 가장 잘 평가하는 벤치마크와 평가 설정은 무엇인가?
• RQ3 주요 도전과제(다중 모달성, 해석가능성, 인과 혼동, 견고성, 월드 모델)와 이를 해결하는 방법은 무엇인가?
• RQ4 기초 모델과 데이터 중심 접근 방식이 엔드-투-엔드 주행 개발에 어떻게 영향을 미칠 수 있는가?
• RQ5 안전하고 효율적인 엔드-투-엔드 자율주행을 위한 가장 유망한 미래 방향은 무엇인가?

주요 결과

• 엔드-투-엔드 주행은 지각, 예측, 계획 간의 공동 최적화를 활용하여 효율성과 안전성을 향상시킬 수 있다.
• 모방학습(행동 클로닝 및 IOC)은 여전히 기본이지만 공변량 변화와 인과 혼동의 문제를 겪으며, 온폴리시 전략과 비용 학습이 해결책으로 제시된다.
• 실제 주행 환경에서의 RL은 엔드-투-엔드 설정에서 IL보다 뒤처지지만, 사전학습 및 특권 시뮬레이터 데이터가 RL과 결합될 때 강력한 성과를 낼 수 있다.
• 오픈루프 벤치마크는 실제 성능을 반영하지 못할 수 있으며, 폐루프 시뮬레이션(CARLA, nuPlan 등)이 더 신뢰할 수 있는 평가를 제공하지만 일반화는 여전히 어려움.
• 다중 모달 융합 및 Transformer 기반 아키텍처(예: TransFuser)가 엔드-투-엔드 시스템에서 강력한 성능 향상을 보이며, 특히 카메라/LiDAR 데이터를 통합하는 데 유리하다.
• 기초 모델과 데이터 엔진은 엔드-투-엔드 주행을 발전시키는 핵심 트렌드로 확인되었으며, 오픈 문헌 저장소의 지속적인 유지 관리가 필요하다.