[論文レビュー] VAD: Vectorized Scene Representation for Efficient Autonomous Driving

Bo Jiang, Shaoyu Chen+8 more|arXiv (Cornell University)|Mar 21, 2023

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

この論文では、密度の高いラスタライズド表現の代わりに、ベクトル化されたエージェント運動およびマップ要素を用いてシーンをモデル化する、完全にベクトル化されたエンドツーエンドの自動運転フレームワークVADを提案する。明示的なインスタンスレベルの計画制約とクエリベースの特徴相互作用を活用することで、先行手法よりも2.5倍高速な推論を達成し、nuScenes上での衝突率を29.0%、変位誤差を30.1%低減した。

ABSTRACT

Autonomous driving requires a comprehensive understanding of the surrounding environment for reliable trajectory planning. Previous works rely on dense rasterized scene representation (e.g., agent occupancy and semantic map) to perform planning, which is computationally intensive and misses the instance-level structure information. In this paper, we propose VAD, an end-to-end vectorized paradigm for autonomous driving, which models the driving scene as a fully vectorized representation. The proposed vectorized paradigm has two significant advantages. On one hand, VAD exploits the vectorized agent motion and map elements as explicit instance-level planning constraints which effectively improves planning safety. On the other hand, VAD runs much faster than previous end-to-end planning methods by getting rid of computation-intensive rasterized representation and hand-designed post-processing steps. VAD achieves state-of-the-art end-to-end planning performance on the nuScenes dataset, outperforming the previous best method by a large margin. Our base model, VAD-Base, greatly reduces the average collision rate by 29.0% and runs 2.5x faster. Besides, a lightweight variant, VAD-Tiny, greatly improves the inference speed (up to 9.3x) while achieving comparable planning performance. We believe the excellent performance and the high efficiency of VAD are critical for the real-world deployment of an autonomous driving system. Code and models are available at https://github.com/hustvl/VAD for facilitating future research.

研究の動機と目的

• 先行のエンドツーエンド自動運転手法で用いられるラスタライズド表現における計算の非効率性とインスタンスレベル構造の損失を解決すること。
• ベクトル化された運動およびマップ情報をハード制約として明示的に符号化することで、計画の安全性を向上させること。
• 効率的なベクトル化計算と後処理の削減を通じて、エンドツーエンド自動運転システムのリアルタイム導入を可能にすること。
• ベンチマークデータセット上で、ベクトル化されたシーン表現がラスタライズド表現を上回ることを実証すること。

提案手法

• VADは、前面カメラ画像を処理し、ビューアー・エイド・ビジョン（BEV）特徴を生成するために、BEVベースのバックボーンとトランスフォーマー基盤のエンコーダーを用いる。
• マップクエリとエージェントクエリを用いて、ベクトル化されたマップ要素（例：レーン境界、道路縁）およびエージェントの運動軌跡を暗黙的に注目する。
• 本フレームワークは、エゴエージェントの衝突、エゴ境界への過剰進出、エゴレーン方向正規化の3つの明示的なベクトル化計画制約を導入する。
• ベクトル化されたマップおよび運動予測は、密度の高いセマンティックまたは占有マップに代わる専用ヘッドモジュールによって生成される。
• 計画ヘッドはスパースなベクトル化クエリを用いて将来の軌道を生成し、ベクトル化表現のコンパクトさによって推論が高速化される。
• モデルは、運動予測、マップ予測、計画の目的関数を含むマルチタスクの監視によりエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 完全にベクトル化されたシーン表現は、エンドツーエンド自動運転計画において、密度の高いラスタライズド表現を上回ることができるか？
• RQ2 計算コストを増加させることなく、明示的なベクトル化計画制約は安全性と正確性をどのように向上させるか？
• RQ3 ラスタライズド表現と後処理ステップを排除することで、推論速度がどの程度向上し、性能を維持または向上させることができるか？
• RQ4 クエリ相互作用を通じてインスタンスレベルのマップおよびエージェント特徴を統合することで、計画の汎用性と耐障害性はどのように向上するか？
• RQ5 ベクトル化パラダイムの軽量バージョンは、競争力のある計画正確性を維持しつつ、リアルタイム推論を達成できるか？

主な発見

• VAD-Baseは、nuScenes上での前回SOTA手法UniADと比較して、平均変位誤差を30.1%（0.72m vs. 1.03m）低減し、衝突率も29.0%（0.22% vs. 0.31%）低減した。
• VAD-BaseはUniADより2.5倍高速に動作し（4.5 FPS vs. 1.8 FPS）、速度と正確性のバランスが最良である。
• VAD-TinyはVAD-Baseより9.3倍高速に推論（16.8 FPS）を達成しながら、同等の性能を維持しており、変位誤差は0.78m、衝突率は0.38%であった。
• アブレーションスタディの結果、エゴマップおよびエゴエージェントの相互作用が性能に不可欠であることが確認され、両者を組み合わせた場合、衝突率が最大29.0%まで低下した。
• ベクトル化されたマップ予測をラスタライズドBEVセグメンテーションに置き換えると、衝突率が顕著に上昇し、ベクトル化表現の優位性が示された。
• VAD-Tinyでは、計画モジュールの推論時間がわずか3.4msにとどまり、スパースなベクトル化計算の効率性が顕著に示された。