[論文レビュー] VectorMapNet: End-to-end Vectorized HD Map Learning

Yicheng Liu, Yuan, Tianyuan+3 more|arXiv (Cornell University)|Jun 17, 2022

Automated Road and Building Extraction被引用数 35

ひとこと要約

VectorMapNetは、車載センサからのBEVへと直接スパースなポリライン集合を予測するエンドツーエンドのパイプラインを提案し、ラスター化や後処理を必要とせずにベクトル化HDマップを実現、nuScenesとArgoverse2で最先端のmAPを達成。

ABSTRACT

Autonomous driving systems require High-Definition (HD) semantic maps to navigate around urban roads. Existing solutions approach the semantic mapping problem by offline manual annotation, which suffers from serious scalability issues. Recent learning-based methods produce dense rasterized segmentation predictions to construct maps. However, these predictions do not include instance information of individual map elements and require heuristic post-processing to obtain vectorized maps. To tackle these challenges, we introduce an end-to-end vectorized HD map learning pipeline, termed VectorMapNet. VectorMapNet takes onboard sensor observations and predicts a sparse set of polylines in the bird's-eye view. This pipeline can explicitly model the spatial relation between map elements and generate vectorized maps that are friendly to downstream autonomous driving tasks. Extensive experiments show that VectorMapNet achieve strong map learning performance on both nuScenes and Argoverse2 dataset, surpassing previous state-of-the-art methods by 14.2 mAP and 14.6mAP. Qualitatively, VectorMapNet is capable of generating comprehensive maps and capturing fine-grained details of road geometry. To the best of our knowledge, VectorMapNet is the first work designed towards end-to-end vectorized map learning from onboard observations. Our project website is available at \url{https://tsinghua-mars-lab.github.io/vectormapnet/}.

研究の動機と目的

• オンラインHD semantic map学習を動機づけ、オフラインHDマップのスケーラビリティ問題を克服する。
• ポリラインを用いたベクトル化マップ表現を提案し、多様なマップ形状と方向を捉える。
• 密なセグメンテーションや後処理なしにBEV特徴からマップ要素を検出し、ポリラインをデコードするエンドツーエンドアーキテクチャを開発する。
• 予測ベクトルマップがモーション予測などの下流タスクと互換性があることを示す。

提案手法

• カメラとLiDARの多模態センサ入力をBEV特徴へ変換し、標準的なBEV表現を形成する。
• 学習可能な要素クエリを持つトランスフォーマー型検出器を用いて、要素のキーポイント集合とクラスを予測し、マップ要素を検出する。
• 検出された各要素を自己回帰型トランスフォーマーを用いたポリライン生成器で順次ポリライン頂点を予測してデコードする。
• ポリラインを離散頂点トークンの列として表現することで、エンドツーエンド学習を可能にし、可変長・向き対応のマップ要素を実現する。
• 検出器ビ bipartite一致損失とポリライン生成のnegative log-likelihood損失を組み合わせた jointly lossで訓練する（teacher forcingを含むオプションのファインチューニング）。
• 予測ポリラインとグラウンドトゥルースを比較するためにChamferとFréchet距離を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルがラスター化や後処理なしに車載センサデータから直接ベクトル化HDマップを生成できるか？
• RQ2 マップ要素をポリラインとして表現することは、ラスター化マップより幾何学的忠実度と下流タスクの互換性を向上させるか？
• RQ3 提案されたDETR風検出器とポリライン下流デコーディングは、カメラ・LiDAR・融合入力の標準HDマップベンチマークでどのように性能を発揮するか？
• RQ4 キーポイント表現と自己回帰的ポリライン生成がマップの精度と下流のモーション予測に与える影響はどの程度か？

主な発見

方法	AP ped	AP divider	AP boundary	mAP
STSU	7.0	11.6	16.5	11.7
HDMapNet (Camera)	14.4	21.7	33.0	23.0
HDMapNet (LiDAR)	10.4	24.1	37.9	24.1
HDMapNet (Fusion)	16.3	29.6	46.7	31.0
VectorMapNet (Camera)	36.1	47.3	39.3	40.9
VectorMapNet (Camera) + fine-tune	42.5	51.4	44.1	46.0
VectorMapNet (LiDAR)	25.7	37.6	38.6	34.0
VectorMapNet (Fusion)	37.6	50.5	47.5	45.2
VectorMapNet (Fusion) + fine-tune	48.2	60.1	53.0	53.7

• VectorMapNetはnuScenes上で入力モードを問わず最先端のmAPを達成し、Fusionが53.7 mAPに到達、他のバリアントはベースラインを大幅に上回る。
• nuScenesではVectorMapNet (Camera) + fine-tune が46.0 mAP、VectorMapNet (Fusion) が45.2 mAP、VectorMapNet (Fusion) + fine-tune が53.7 mAPに到達。
• STSUおよびHDMapNetのベースラインと比較して、VectorMapNetはmAPを大幅に改善（例: nuScenesでHDMapNet Fusionより+14.2 mAP、別ベースラインより+14.6 mAP）。
• 定性的な結果は、VectorMapNetが鋭いポリラインのコーナーを保持し、ラスター系手法でよく見られる曖昧な自己ループを避け、走行可能領域の推定をより正確に行えることを示す。
• 予測されたベクトルマップは下流のモーション予測を有意に改善し、軌跡のみのベースラインを上回り、真のHDマップと同程度の性能に近づく。
• モデルは中心線をポリラインとして扱うことで予測できるため、ベクトル表現の柔軟性を示す。