[論文レビュー] Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline

Penghao Wu, Xiaosong Jia+4 more|arXiv (Cornell University)|Jun 16, 2022

Autonomous Vehicle Technology and Safety被引用数 82

ひとこと要約

TCPは軌道計画と直接制御を統合したエンドツーエンドのフレームワークを構築し、軌道による時系列および注意機構を用いたマルチステップの制御予測を実現、モノラルカメラでCARLAリーダーボードの最先端結果を達成。

ABSTRACT

Current end-to-end autonomous driving methods either run a controller based on a planned trajectory or perform control prediction directly, which have spanned two separately studied lines of research. Seeing their potential mutual benefits to each other, this paper takes the initiative to explore the combination of these two well-developed worlds. Specifically, our integrated approach has two branches for trajectory planning and direct control, respectively. The trajectory branch predicts the future trajectory, while the control branch involves a novel multi-step prediction scheme such that the relationship between current actions and future states can be reasoned. The two branches are connected so that the control branch receives corresponding guidance from the trajectory branch at each time step. The outputs from two branches are then fused to achieve complementary advantages. Our results are evaluated in the closed-loop urban driving setting with challenging scenarios using the CARLA simulator. Even with a monocular camera input, the proposed approach ranks first on the official CARLA Leaderboard, outperforming other complex candidates with multiple sensors or fusion mechanisms by a large margin. The source code is publicly available at https://github.com/OpenPerceptionX/TCP

研究の動機と目的

• 軌道計画と直接制御を組み合わせることが、エンドツーエンドの自動運転に相互利益をもたらすかを検討する。
• 表現を共有し、ブランチ間のガイダンスを可能にする統一 マルチタスク フレームワークを開発する。
• マルチステップ予測、時系列推論、軌道 guided attention を用いて制御予測を強化する。
• モノラル入力で閉ループCARLA走行シナリオを評価し、最先端の結果を確立する。

提案手法

• 共有バックボーンを備えた二分岐アーキテクチャ：未来のウェイポイントを予測する軌道計画ブランチと、マルチステップの制御予測を行う制御ブランチ。
• 制御ブランチの時系列モジュール（GRUベース）で、複数の将来ステップにわたる環境ダイナミクスと自機の運動を推論。
• 両ブランチの隠れ状態を用いて、各将来ステップの画像特徴上での注意マップを計算する軌道ガイド付きアテンション。
• 運転状況に基づく融合：軌道と制御ベースの出力を結合し、αの重みづけを走行状況（例：曲がるか直進か）で決定。
• 地上真値ウェイポイントを用いた軌道計画損失と特徴損失を含む損失設計、β分布とKL発散を用いた制御損失、および補助的な速度ヘッドと値ヘッドを追加。

実験結果

リサーチクエスチョン

• RQ1 軌道計画と直接制御を組み合わせることが、エンドツーエンドの自動運転に相互利益をもたらすかを検討する。
• RQ2 マルチステップ予測、時系列推論、軌道 guided attention を用いて制御予測を強化する。
• RQ3 運転状況に基づく融合と軌道ガイド付き注意は、シナリオを跨いだロバスト性を改善できるか。
• RQ4 TCPフレームワークはモノキュラ入力を用いた標準CARLAベンチマークで、単一分野のエンドツーエンド手法と比較してどうか？

主な発見

• TCP-Ensはモノキュラカメラを用いた公開CARLAリーダーボードでドライビングスコア75.137を達成（報告されたモノキュラメソッド中で最高）。
• モノキュラ入力でのTCPは既知のモノキュラおよび一部のマルチセンサ手法を上回り、ドライビングスコアと違反指標で優位。例：表の値に基づく比較では、TCPは69.714のドライビングスコア、82.962のルート完走、0.851の違反スコア。
• アブレーション研究は、軌道タスク、時系列モデリング、軌道ガイド付き注意、融合を追加するごとに走行性能が段階的に向上することを示す（例：制御実験で32.45から57.01のドライビングスコアへ）。
• 状況ベースの融合戦略は、違反スコアと全体の走行性能に顕著な改善をもたらす（実験ではα=0.3）。
• フレームワークは軌道と制御の統合の明確な利点を示し、単純なモノキュラーベースラインがCARLAリーダーボードで最先端の結果を達成。