[논문 리뷰] Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey

Pranav Singh Chib, Pravendra Singh|arXiv (Cornell University)|2023. 07. 10.

Traffic Prediction and Management Techniques인용 수 9

한 줄 요약

이 설문조사는 엔드투엔드 자율주행을 심층 학습으로 분석하고 모듈식 시스템과 대조하며 입력/출력 모달리티, 학습 접근법, 안전성, 설명가능성, 평가, 데이터세트, 그리고 향후 방향에 대해 논의합니다.

ABSTRACT

End-to-End driving is a promising paradigm as it circumvents the drawbacks associated with modular systems, such as their overwhelming complexity and propensity for error propagation. Autonomous driving transcends conventional traffic patterns by proactively recognizing critical events in advance, ensuring passengers' safety and providing them with comfortable transportation, particularly in highly stochastic and variable traffic settings. This paper presents a comprehensive review of the End-to-End autonomous driving stack. It provides a taxonomy of automated driving tasks wherein neural networks have been employed in an End-to-End manner, encompassing the entire driving process from perception to control, while addressing key challenges encountered in real-world applications. Recent developments in End-to-End autonomous driving are analyzed, and research is categorized based on underlying principles, methodologies, and core functionality. These categories encompass sensorial input, main and auxiliary output, learning approaches ranging from imitation to reinforcement learning, and model evaluation techniques. The survey incorporates a detailed discussion of the explainability and safety aspects. Furthermore, it assesses the state-of-the-art, identifies challenges, and explores future possibilities. We maintained the latest advancements and their corresponding open-source implementations at https://github.com/Pranav-chib/Recent-Advancements-in-End-to-End-Autonomous-Driving-using-Deep-Learning.

연구 동기 및 목표

• 오류 전파를 줄이고 효율성을 향상시키기 위해 모듈식 자율주행에서 엔드투엔드 학습으로의 전환을 촉진한다.
• 신경망이 인지에서 제어로 매핑하는 엔드투엔드 주행 작업의 분류체계를 제공한다.
• 모방학습과 강화학습 등 학습 패러다임을 조사하고 이들이 엔드투엔드 주행에 적용 가능한지 살펴본다.
• 엔드투엔드 주행의 안전성, 설명가능성 및 평가 프레임워크를 논의한다.
• 데이터세트와 시뮬레이터를 분류하고 남은 과제와 향후 방향을 개략한다.

제안 방법

• 지각에서 제어까지의 엔드투엔드 주행 작업 분류체계를 제시한다.
• 엔드투엔드와 모듈식 파이프라인을 비교하고 오류 전파 감소 및 계산 효율성과 같은 이점을 요약한다.
• 입력 모달리티(카메라, LiDAR, 다중 모달, 항법 입력)와 대응하는 출력 모달리티(웨이포인트, 궤적, 비용 지도)를 검토한다.
• 모방학습, 강화학습 및 하이브리드를 포함한 학습 접근법과 그 트레이드오프를 조사한다.
• 개방형 및 폐쇄형 평가를 포함한 안전성, 설명가능성 및 평가 방법론을 논의한다.
• 데이터세트와 시뮬레이터의 목록을 제공하고 평가 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 자율주행을 위한 최신 엔드투엔드 심층학습 기법은 무엇이며 모듈식 파이프라인과 어떻게 다른가?
• RQ2 엔드투엔드 주행에서 어떤 입력/출력 모달리티가 사용되며 이것이 성능과 해석가능성에 어떤 영향을 미치는가?
• RQ3 모방학습과 강화학습은 엔드투엔드 주행에 어떻게 적용되며 각각의 한계는 무엇인가?
• RQ4 엔드투엔드 주행 시스템에 대해 어떤 안전성, 설명가능성 및 평가 전략이 효과적인가?
• RQ5 엔드투엔드 자율주행 연구를 지원하는 데이터세트와 시뮬레이터는 무엇이며 벤치마킹에 어떻게 사용되는가?

주요 결과

• 엔드투엔드 주행은 모듈식 스택에 비해 오류 전파를 줄이고 계산 효율성을 향상시킬 수 있다.
• 해석가능성은 보조 출력, 주의 맵, 해석 가능한 맵을 통해 엔드투엔드 모델의 해석가능성이 향상된다.
• 엔드투엔드 접근법은 트리거 식별 및 전파 경로를 복잡하게 만들어 적대적 공격에 대한 탄력성을 보인다.
• 모방학습은 데이터 효율적이지만 분포 변화에 직면하고; 강화학습은 탐색을 가능하게 하지만 샘플 비효율적일 수 있다.
• 다중 모달 입력(카메라, LiDAR, 깊이)과 융합 표현은 인지 및 의사결정을 향상시킨다.
• 웨이포인트, 궤적, 보조 맵을 포함하는 다양한 출력 모달리티가 존재하며 종종 MPC나 PID 컨트롤러와 결합된다.