[論文レビュー] End-to-end Autonomous Driving using Deep Learning: A Systematic Review

Apoorv Singh|arXiv (Cornell University)|Aug 27, 2023

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本システマティックレビューは、深層学習を用いたエンドツーエンド自律走行分野における最近の進展を統合し、模倣学習、強化学習、補助タスク学習、教師-生徒フレームワークに焦点を当てる。本稿は、手法の包括的な分類体系を提示し、長尾シナリオにおける安全性や解釈可能性といった主要な課題を強調するとともに、協調学習、拡散モデルを用いたシミュレーション、一般化性能の向上に寄与する基盤モデルといった今後の方向性を提案する。

ABSTRACT

End-to-end autonomous driving is a fully differentiable machine learning system that takes raw sensor input data and other metadata as prior information and directly outputs the ego vehicle's control signals or planned trajectories. This paper attempts to systematically review all recent Machine Learning-based techniques to perform this end-to-end task, including, but not limited to, object detection, semantic scene understanding, object tracking, trajectory predictions, trajectory planning, vehicle control, social behavior, and communications. This paper focuses on recent fully differentiable end-to-end reinforcement learning and deep learning-based techniques. Our paper also builds taxonomies of the significant approaches by sub-grouping them and showcasing their research trends. Finally, this survey highlights the open challenges and points out possible future directions to enlighten further research on the topic.

研究の動機と目的

• 深層学習および強化学習に基づくエンドツーエンド自律走行技術について、包括的かつ最新のサーベイを提供すること。
• 最近のアプローチを、模倣学習、強化学習、補助タスク学習、教師-生徒フレームワークの4つの主要なパラダイムに分類すること。
• エンドツーエンドシステムにおける安全性、解釈可能性、転移学習、人間-車両インタラクションの分野における未解決課題を特定すること。
• 協調的エンドツーエンド学習、拡散モデルを用いたテキストからシーンの生成、一般化性能の向上に寄与する基盤モデルの活用といった今後の研究方向性を提案すること。
• 古くなった、または部分的にカバー済みの手法を除外することで、最近の先端的進展に焦点を当てた、既存のサーベイとのギャップを埋めること。

提案手法

• 本稿は、模倣学習または強化学習による訓練が可能な完全微分可能なモデルに焦点を当てた、最近のエンドツーエンド自律走行システムに関するシステマティックな文献レビューを実施する。
• 4つのカテゴリに分類される手法の分類体系を導入する：模倣学習、強化学習、補助タスク（例：認識、予測）を伴うエンドツーエンド学習、教師-生徒蒸留。
• 理論的基盤を統合し、入力-出力マッピングの数学的定式化を含む：$ X \to Y $、ここで $ X $ は生のセンサデータ（カメラ、LiDARD、IMU、GPS、高精度地図）を表し、$ Y $ は制御出力（ステアリング、アクセル、ブレーキ）を表す。
• 主な損失関数を分析し、認識（分類、回帰、IoU）と計画（マックスマージン損失）を統合したマルチタスク損失を用いることで、特徴の学習を促進し、解釈可能性を向上させる。
• エンドツーエンド学習に用いられるベンチマークおよびデータセットを評価し、センサセットが校正済みの、人間が運転する車両から得られる大規模かつアノテーションコストが低いデータの重要性を強調する。
• 今後の手法的アプローチを提案する。具体的には、拡散モデルを用いてレアな失敗事例シナリオを生成し、長尾エッジケースに対するより強固な訓練を可能にするとともに、多様な走行データで事前学習された基盤モデルを活用して、ゼロショット一般化性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習モデルは、特徴の学習とシステム最適化の観点から、従来のモジュラーパイプラインとどのように異なるか？
• RQ2 最近のエンドツーエンド自律走行研究における支配的パラダイムは何か。性能およびスケーラビリティの観点から、それらを比較するとどうなるか？
• RQ3 エンドツーエンドシステムの実装に際しての主な課題は何か。特に、長尾シナリオへの対応、安全性の確保、解釈可能性の維持の観点から。
• RQ4 補助タスク（例：検出、深度推定）は、エンドツーエンド走行ポリシーの性能と耐障害性をどのように向上させるか？
• RQ5 拡散モデルや基盤モデルといった新興技術は、データ効率性や現実世界への一般化性能の制限を克服するために、どのように活用できるか？

主な発見

• エンドツーエンドシステムは、認識、計画、制御の各分野で特徴を統合的に最適化することで、手作業によるヒューリスティクスへの依存を減らし、モジュラーパイプラインを上回る性能を発揮する。
• 模倣学習に基づくモデル、例えばALVINNやNvidiaの初期ネットワークにインspiredされたものでは、カメラとLiDAR入力のみで多様な条件下でもレーン保持走行が可能となる。
• 強化学習に基づく手法、例えばWayveのシステムでは、わずか10回のデモンストレーションエピソードからも効果的なポリシーを学習でき、優れたサンプル効率性を示している。
• 補助的監視（例：検出、運動予測）を伴うマルチタスク学習は、特徴の学習を向上させるとともに、マックスマージン損失のような損失関数により、ネットワーク出力の解釈可能性を可能にする。
• 拡散モデルは、まれな故障事例や失敗しやすい走行シナリオの生成に有望であり、長尾エッジケースに対するより強固な訓練を可能にする。
• 大規模な走行データで事前学習された基盤モデルは、シミュレーションから現実世界への展開におけるゼロショット一般化性能と転移性能を顕著に向上させ得る。