[論文レビュー] HDMapNet: An Online HD Map Construction and Evaluation Framework

Qi Li, Yue Wang+2 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

HDMapNetは、搭載カメラと/またはLiDARを用いて、オンラインでリアルタイムに高精度（HD）セマンティックマップを構築するためのフレームワークを提案する。視覚変換器を活用して2次元画像特徴を鳥眼視点に投影し、ベクトル化されたマップ予測を実現する。すべての指標で先行手法比50%の相対的改善を達成しており、カメラ-LiDAR融合モデルはインスタンス検出で12.1 mAP、セマンティックセグメンテーションで13.1 mAPの向上を示した。

ABSTRACT

Constructing HD semantic maps is a central component of autonomous driving. However, traditional pipelines require a vast amount of human efforts and resources in annotating and maintaining the semantics in the map, which limits its scalability. In this paper, we introduce the problem of HD semantic map learning, which dynamically constructs the local semantics based on onboard sensor observations. Meanwhile, we introduce a semantic map learning method, dubbed HDMapNet. HDMapNet encodes image features from surrounding cameras and/or point clouds from LiDAR, and predicts vectorized map elements in the bird's-eye view. We benchmark HDMapNet on nuScenes dataset and show that in all settings, it performs better than baseline methods. Of note, our camera-LiDAR fusion-based HDMapNet outperforms existing methods by more than 50% in all metrics. In addition, we develop semantic-level and instance-level metrics to evaluate the map learning performance. Finally, we showcase our method is capable of predicting a locally consistent map. By introducing the method and metrics, we invite the community to study this novel map learning problem.

研究の動機と目的

• 手作業によるアノテーションと保守を要する伝統的なHDマップ構築のスケーラビリティおよび人的コストの問題に対処すること。
• 事前構築されたグローバルマップを必要とせず、オンボードセンサデータから直接ローカルセマンティックマップを学習するオンラインでリアルタイムなフレームワークを開発すること。
• 深度の不確実性を扱い、カメラの外挿パrametersを活用する、視覚的ビューから鳥眼視点への特徴投影機構を設計すること。
• セマンティックレベルとインスタンスレベルの両方の指標を用いた評価により、異なる手法間の公平な比較を可能にすること。
• リアルタイムの運動計画に適した、局所的に整合性のあるベクトル化されたセマンティックマップの生成可能性を実証すること。

提案手法

• HDMapNetは、周囲カメラからの画像特徴と/またはLiDAR点群を処理するマルチブランチネットワークを用い、新規のビュー変換器を用いてそれらを鳥眼視点に投影する。
• ビュー変換器は、ニューラル特徴変換と幾何的プロジェクションを組み合わせ、カメラの外挿パrametersを明示的にモデル化するとともに、明示的な深度推定を必要とせずに3次元構造を暗黙的にモデル化する。
• 特徴融合モジュールは、カメラとLiDARの表現を統合し、カメラのテクスチャと色のコントラスト、LiDARの高さ変化における幾何的精度といった補完的利点を活用する。
• モデルは、セマンティックセグメンテーション、インスタンス検出、方向分類のための別々のヘッドを用いて、ベクトル化されたマップ要素（例：レーン、分離帯、歩行者横断歩道）を予測する。
• 時間的融合は、エゴ車両のポーズを用いて複数フレームの特徴を連結することで実現され、時間経過に伴う耐性と一貫性が向上する。
• 後処理では、PCAと方向マスクを用いて予測された埋め込みを滑らかで連続的なベクトル曲線に変換する。

Figure 1 : In contrast to pre-annotating global semantic maps, we introduce a novel local map learning framework that makes use of on-board sensors to estimate local semantic maps.

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、リアルタイムで生のカメラおよびLiDAR入力から直接HDセマンティックマップを予測するのに効果的か？
• RQ2 提案されたビュー変換器は、従来のIPMや深度推定ベースの手法と比較して、精度および耐性面で優れているか？
• RQ3 カメラとLiDARのモダリティは、異なるマップ要素の予測において、どの程度補完的か？
• RQ4 複数フレームの時間的統合は、動的または視認性が低い状況下でマップの一貫性を向上させ、ノイズを低減するか？
• RQ5 セマンティックレベルとインスタンスレベルの評価指標は、マップ学習モデルの性能をどのように統合的に反映するか？

主な発見

• カメラ-LiDAR融合ベースのHDMapNetは、すべての指標で50%以上の相対的改善を達成し、ベースライン比セマンティックセグメンテーションで12.1 mAP、インスタンス検出で13.1 mAPの向上を示した。
• HDMapNet(Surr)は、IPMやLift-Splat-Shootを含むすべての単一モダリティベースラインを上回り、インスタンス検出のmAPで55.4%の相対的改善を達成した。
• 悪天候下でも妥当な性能を維持しており、雨天時ではIoUが38.7に低下し、夜間では39.3に低下するが、依然として完全なレーン予測を生成した。
• 2フレーム以上の時間的統合により、IoUは32.9から36.4に上昇し、長期的な蓄積によりより大きな一貫性のあるセマンティックマップが得られた。
• CD（中心距離）指標は、一部のモデルが精度（CD P）に優れる一方で、他のモデルが再現率（CD L）に優れるという補完的行動を示し、HDMapNet(Surr)は最良のバランスを達成した。
• 可視化結果から、モデルがインスタンスレベルの埋め込みと方向に敏感な特徴を学習しており、計画に適した滑らかで連続的なベクトル化曲線を生成していることが確認された。

Figure 2 : Model overview. HDMapNet works with either or both of images and point clouds, outputs semantic segmentation, instance embedding and directions, and finally produces a vectorized local semantic map. Top left: image branch. Bottom left: point cloud branch. Right: HD semantic map. .