[論文レビュー] Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies

Yu Huang, Yue Chen|arXiv (Cornell University)|Jun 10, 2020

Autonomous Vehicle Technology and Safety参考文献 234被引用数 34

ひとこと要約

この調査は自動運転における深層学習手法を網羅的にレビューし、知覚、地図作成/局在化、予測、計画/制御、シミュレーション、V2X、及び安全性に焦点を当て、2D/3D物体検出、深度推定、マルチセンサ融合を強調する。

ABSTRACT

Since DARPA Grand Challenges (rural) in 2004/05 and Urban Challenges in 2007, autonomous driving has been the most active field of AI applications. Almost at the same time, deep learning has made breakthrough by several pioneers, three of them (also called fathers of deep learning), Hinton, Bengio and LeCun, won ACM Turin Award in 2019. This is a survey of autonomous driving technologies with deep learning methods. We investigate the major fields of self-driving systems, such as perception, mapping and localization, prediction, planning and control, simulation, V2X and safety etc. Due to the limited space, we focus the analysis on several key areas, i.e. 2D and 3D object detection in perception, depth estimation from cameras, multiple sensor fusion on the data, feature and task level respectively, behavior modelling and prediction of vehicle driving and pedestrian trajectories.

研究の動機と目的

• 深層学習に基づく自動運転技術の包括的概要を提供する。
• 知覚、地図作成/局在化、予測、計画/制御、シミュレーション、V2X、及び安全性という主要なシステム構成要素を分析する。
• 2D/3D 物体検出、カメラからの深度推定、マルチセンサ融合（特徴レベルおよびタスクレベル）における主要な DL 手法を強調する。
• 車両と歩行者の挙動モデリングと軌道予測を議論する。
• DLを活用した自動運転の課題と将来の方向性を特定する。

提案手法

• 自動運転に適用可能な深層学習手法の体系的文献調査を実施する。
• 分野の中核サブシステムと焦点トピックを軸に議論を分類する。
• 2D/3D物体検出とカメラからの深度推定を含む知覚の進展を評価・統合する。
• 特徴レベルとタスクレベルの双方でのマルチセンサ融合手法を検討する。
• 運転シナリオにおける車両や歩行者の挙動モデリングと軌道予測を要約する。

実験結果

リサーチクエスチョン

• RQ1 自動運転のための堅牢な2Dおよび3D物体検出を実現する深層学習手法は何か？
• RQ2 カメラからの深度推定を運転シナリオで効果的に実現するにはどうすれば良いか？
• RQ3 マルチセンサ融合技術は知覚と局在化を改善するためにどのように適用されているか？
• RQ4 車両と歩行者の軌道はDLを用いてどのようにモデル化・予測されるか？
• RQ5 自動運転における深層学習の現在の課題と将来の方向性は何か？

主な発見

• 深層学習は自動運転における知覚、地図作成/局在化、予測、計画/制御、シミュレーション、V2X、および安全性の中心である。
• 知覚では、カメラからの2D/3D物体検出と深度推定が主要な焦点領域である。
• 特徴レベルおよびタスクレベルのマルチセンサ融合は、頑健な知覚と局在化のために重要である。
• 車両と歩行者の挙動モデリングと軌道予測は不可欠な要素である。
• 本調査は継続的な課題を特定し、将来のDL開発の方向性を概説している。