[論文レビュー] The Integration of Prediction and Planning in Deep Learning Automated Driving Systems: A Review

Steffen Hagedorn, Marcel Hallgarten+2 more|arXiv (Cornell University)|Aug 10, 2023

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

この論文は、自動運転システムにおける動き予測と計画の深層学習ベース統合をレビューし、ロボット・リーダー、コリーダー、共同計画の3つの統合アーキテクチャの体系的分類を提案する。それぞれのアーキテクチャの行動的意味、安全面のトレードオフ、研究上のギャップを強調する。スケーラブルなテスト、ベンチマーク、耐障害性の高いトレーニングにおける主な課題を特定し、一般化性能と相互作用的な走行シナリオにおける安全性を向上させるため、統一された評価フレームワークとハイブリッド学習手法の導入を提言する。

ABSTRACT

Automated driving has the potential to revolutionize personal, public, and freight mobility. Beside accurately perceiving the environment, automated vehicles must plan a safe, comfortable, and efficient motion trajectory. To promote safety and progress, many works rely on modules that predict the future motion of surrounding traffic. Modular automated driving systems commonly handle prediction and planning as sequential, separate tasks. While this accounts for the influence of surrounding traffic on the ego vehicle, it fails to anticipate the reactions of traffic participants to the ego vehicle's behavior. Recent methods increasingly integrate prediction and planning in a joint or interdependent step to model bidirectional interactions. To date, a comprehensive overview of different integration principles is lacking. We systematically review state-of-the-art deep learning-based planning systems, and focus on how they integrate prediction. Different facets of the integration ranging from system architecture to high-level behavioral aspects are considered and related to each other. Moreover, we discuss the implications, strengths, and limitations of different integration principles. By pointing out research gaps, describing relevant future challenges, and highlighting trends in the research field, we identify promising directions for future research.

研究の動機と目的

• 自動運転システムにおける逐次的な予測と計画の限界を解決する。これは、交通参加者同士の相互作用を正しくモデル化できないためである。
• 自動運転における深層学習ベースの予測、計画、およびその統合手法について、包括的かつ体系的なレビューを提供すること。
• エゴ車両から他の車両への関係性とコスト関数設計に基づき、ロボット・リーダー、コリーダー、共同計画の3つの統合手法を分類する、画期的な分類を提案すること。
• 異なる統合パラダイムの安全性、耐障害性、行動的意味を分析し、トレーニング、ベンチマーク、システム設計における未解決の課題を同定すること。
• 研究上のギャップと今後の方向性を強調すること。特に、スケーラブルなテスト、包括的なベンチマーク、分布シフトおよびレアなシナリオに対する耐障害性の高いトレーニングに焦点を当てる。

提案手法

• エゴ車両の行動が予測にどのように影響するかに基づき、既存の統合予測・計画（IPP）モデルをロボット・リーダー、コリーダー、共同計画の3つのアーキテクチャ的パラダイムに体系的に分類する。
• 3つの統合カテゴリ間でのモデルアーキテクチャ、システム設計、行動的意味を分析し、コスト関数が安全性と予備計画をどのように反映しているかに焦点を当てる。
• 最新の深層学習ベースの予測と計画手法をレビューし、将来の軌道と行動を同時に最適化するエンドツーエンドおよびハイブリッドアーキテクチャに注目する。
• 相互作用的な走行シナリオを的確に捉えるシミュレーション環境、リアルなドライバー・モデル、インタラクションメトリクスを用いた、IPPシステムの評価フレームワークを構築する。
• 分布シフトやレアな安全関連事象に対する耐障害性を高めるために、微分可能シミュレータにおける行動クラーニングやデータ拡張法などのトレーニング手法を調査する。
• スケーラブルなシミュレーションと敵対的シナリオ生成の必要性を強調し、実世界の展開条件における一般化性能と耐障害性のテストを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロボット・リーダー、コリーダー、共同計画の異なる統合アーキテクチャは、エゴ車両が周囲の交通参加者とどのように相互作用をモデル化しているか、どのような点で異なるのか？
• RQ2 ロボット・リーダーとコリーダー計画パラダイムにおける専用コスト関数の使用が、安全性と行動的側面に与える影響は何か？
• RQ3 なぜ統合予測・計画システムの包括的ベンチマークが現在まだ存在しないのか。また、それらのパフォーマンスを評価するために必要なメトリクスは何か？
• RQ4 稀で安全に重大なシナリオや分布シフトに耐える一般化性能を確保するため、トレーニング手法をどのように改善できるか？
• RQ5 システム設計、シミュレーションの規模、評価における主な未解決の課題は何か。それらは、実世界における統合予測・計画の自動運転システムへの導入を妨げている。

主な発見

• エゴ車両が最初に計画し、その計画に基づいて予測を行うロボット・リーダー・パラダイムは一般的であるが、周囲の車両の反応について現実的でない仮定に依存するリスクをはらんでいる。
• エゴ車両と周囲の車両がお互いの行動を事前に想定し、反応するコリーダー・パラダイムは、相互の予測と反応をモデル化することで、自然に安全性と耐障害性を実現する。
• すべての参加者の行動を同時に最適化する共同計画では、本質的な安全メカニズムが欠如しており、定義と最適化が困難な共同コスト関数を必要とする。
• 多様で相互作用的な走行シナリオ、リアルなドライバー・モデルを含む、異なる統合手法の強みと弱みを評価する包括的なベンチマークは現在存在しない。
• 稀で安全に重大なシナリオへの一般化性能の向上は依然として大きな課題であり、既存の手法はデータのキュレーション、拡張されたシナリオ、微分可能シミュレーションを用いて性能を向上させている。
• 今後の研究は、スケーラブルなシミュレーション、敵対的シナリオ生成、およびアドバイスと強化学習を組み合わせたハイブリッドトレーニング手法の優先的開発を進めるべきである。これにより、耐障害性と安全性が向上する。