[논문 리뷰] Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies

Yu Huang, Yue Chen|arXiv (Cornell University)|2020. 06. 10.

Autonomous Vehicle Technology and Safety참고 문헌 234인용 수 34

한 줄 요약

이 분석은 자율주행에서의 딥러닝 방법들을 검토하며, 인지, 매핑/로컬라이제이션, 예측, 계획/제어, 시뮬레이션, V2X, 안전에 초점을 두고, 2D/3D 물체 검출, 깊이 추정, 다중 센서 융합에 중점을 둔다.

ABSTRACT

Since DARPA Grand Challenges (rural) in 2004/05 and Urban Challenges in 2007, autonomous driving has been the most active field of AI applications. Almost at the same time, deep learning has made breakthrough by several pioneers, three of them (also called fathers of deep learning), Hinton, Bengio and LeCun, won ACM Turin Award in 2019. This is a survey of autonomous driving technologies with deep learning methods. We investigate the major fields of self-driving systems, such as perception, mapping and localization, prediction, planning and control, simulation, V2X and safety etc. Due to the limited space, we focus the analysis on several key areas, i.e. 2D and 3D object detection in perception, depth estimation from cameras, multiple sensor fusion on the data, feature and task level respectively, behavior modelling and prediction of vehicle driving and pedestrian trajectories.

연구 동기 및 목표

• 딥러닝 기반 자율주행 기술에 대한 포괄적 개요를 제공한다.
• 인지, 매핑/로컬라이제이션, 예측, 계획/제어, 시뮬레이션, V2X, 안전 등 주요 시스템 구성요소를 분석한다.
• 2D/3D 물체 검출, 카메라로부터의 깊이 추정, 다중 센서 융합(특징 수준 및 작업 수준)에서의 주요 DL 기술을 강조한다.
• 차량과 보행자의 행위 모델링과 궤적 예측을 논의한다.
• 딥러닝 기반 자율주행의 도전과제와 향후 방향을 식별한다.

제안 방법

• 자율주행에 적용 가능한 딥러닝 방법에 대한 체계적 문헌고찰을 수행한다.
• 분석을 핵심 하위 시스템과 분야의 초점 주제를 중심으로 분류한다.
• 인지 분야의 진전, 2D/3D 물체 검출 및 카메라로부터의 깊이 추정을 포함하여 평가하고 종합한다.
• 특징 수준과 작업 수준 모두에서의 다중 센서 융합 접근법을 검토한다.
• 주행 시나리오의 에이전트에 대한 행위 모델링과 궤적 예측을 요약한다.

실험 결과

연구 질문

• RQ1 자율주행에서 강력한 2D 및 3D 물체 검출을 가능하게 하는 딥러닝 접근 방식은 무엇인가?
• RQ2 주행 시나리오에서 카메라로부터의 깊이 추정을 효과적으로 달성하려면 어떻게 해야 하는가?
• RQ3 인지 및 로컬라이제이션 향상을 위해 다중 센서 융합 기법은 어떻게 적용되는가?
• RQ4 DL을 사용하여 차량과 보행자의 궤적은 어떻게 모델링되고 예측되는가?
• RQ5 자율주행에서 딥러닝의 현재 도전과제와 미래 방향은 무엇인가?

주요 결과

• 딥러닝은 자율주행에서 인지, 매핑/로컬라이제이션, 예측, 계획/제어, 시뮬레이션, V2X, 안전의 중심이다.
• 인지에서 2D/3D 물체 검출과 카메라로부터의 깊이 추정이 핵심 영역이다.
• 특징 수준과 작업 수준 모두에서의 다중 센서 융합은 강건한 인지와 로컬라이제이션에 중요하다.
• 차량과 보행자의 행위 모델링 및 궤적 예측은 필수 구성요소이다.
• 본 조사는 지속적인 도전과제를 식별하고 자율주행에서의 향후 DL 개발 방향을 제시한다.