[論文レビュー] End-to-end Autonomous Driving: Challenges and Frontiers

Li Chen, Penghao Wu+4 more|arXiv (Cornell University)|Jun 29, 2023

Autonomous Vehicle Technology and Safety被引用数 22

ひとこと要約

エンドツーエンド自動運転の総合的な調査として、模倣学習と強化学習アプローチ、ベンチマーク、課題、将来の動向を分析し、多モーダル性、解釈性、world models、foundation modelsを強調します。

ABSTRACT

The autonomous driving community has witnessed a rapid growth in approaches that embrace an end-to-end algorithm framework, utilizing raw sensor input to generate vehicle motion plans, instead of concentrating on individual tasks such as detection and motion prediction. End-to-end systems, in comparison to modular pipelines, benefit from joint feature optimization for perception and planning. This field has flourished due to the availability of large-scale datasets, closed-loop evaluation, and the increasing need for autonomous driving algorithms to perform effectively in challenging scenarios. In this survey, we provide a comprehensive analysis of more than 270 papers, covering the motivation, roadmap, methodology, challenges, and future trends in end-to-end autonomous driving. We delve into several critical challenges, including multi-modality, interpretability, causal confusion, robustness, and world models, amongst others. Additionally, we discuss current advancements in foundation models and visual pre-training, as well as how to incorporate these techniques within the end-to-end driving framework. we maintain an active repository that contains up-to-date literature and open-source projects at https://github.com/OpenDriveLab/End-to-end-Autonomous-Driving.

研究の動機と目的

• モジュラーパイプラインからエンドツーエンド学習への移行を、運転の安全性と効率の向上を目的として動機づける。
• エンドツーエンド運転における模倣学習と強化学習の方法論的風景を要約する。
• 閉ループおよび開ループ設定のデータセット、ベンチマーク、評価パラダイムを評価する。
• マルチモーダル融合、解釈性、一般化といった主要な課題を特定し、潜在的な解決策を論じる。
• foundation models、データエンジン、センサ融合戦略などを含む将来の方向性を強調する。

提案手法

• エンドツーエンドの自動運転アプローチを、模倣学習と強化学習に分類する。
• 行動クローンと逆最適制御を模倣学習の経路として説明し、それらの課題（共変量シフトと因果混乱）を指摘する。
• 実世界の適用での制約や、監督付き事前学習や特権的シミュレーションデータと組み合わせた場合の RL の成功を含め、運転における強化学習をレビューする。
• CARLA や nuPlan エコシステムを含む、評価ベンチマークとシミュレーションベースの closed-loop 対 offline open-loop パラダイムを論じる。
• 世界モデル、多タスク学習、ポリシー蒸留を検討する。
• ポリシー学習における foundation models と視覚的事前学習の役割を検討する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド自動運転で用いられる主要なパラダイムと方法論は何か（IL vs RL）？
• RQ2 閉ループおよび開ループの文脈でエンドツーエンド運転を最も良く評価するベンチマークと評価設定は何か？
• RQ3 中心的な課題（マルチモーダリティ、解釈性、因果混乱、ロバスト性、world models）とその対処方法は？
• RQ4 foundation models とデータ中心アプローチはエンドツーエンド運転の開発にどのような影響を与えるか？
• RQ5 安全で効率的なエンドツーエンド自動運転にとって最も有望な将来の方向性は何か？

主な発見

• エンドツーエンド運転は、認識、予測、計画を横断して共同最適化を活用でき、効率性と安全性を向上させる可能性がある。
• 模倣学習（行動クローンと IOC）は基礎的だが、共変量シフトと因果混乱の問題があり、 on-policy 戦略とコスト学習が救済策として機能する。
• 現実世界の運転での RL はエンドツーエンド設定では IL に遅れを取るが、事前学習や特権的シミュレータデータと組み合わせると RL と相乗効果を得られる。
• オープンループのベンチマークは現実世界の性能を反映しないことがある。CARLA や nuPlan などのクローズドループシミュレーションはより信頼性の高い評価を提供するが、一般化は依然課題。
• マルチモーダル融合と Transformer ベースのアーキテクチャ（例: TransFuser）は、特にカメラ/ LiDAR データの統合においてエンドツーエンドシステムで強い性能向上を示す。
• Foundation models とデータエンジンはエンドツーエンド運転を前進させる重要なトレンドとして特定され、オープンリテラチャ repos の継続的なメンテナンスが含まれる。