[論文レビュー] HDNET: Exploiting HD Maps for 3D Object Detection

Bin Yang, Ming Liang+1 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Image and Video Retrieval Techniques被引用数 244

ひとこと要約

HDNETは、BEVで幾何および意味的なHDマップ priors をLiDARと統合したマップ認識付きの単段3D検出器を導入し、単一のLiDARスウィープからオンラインでマップを予測することもでき、一貫した性能向上を実現し、20 FPSで動作します。

ABSTRACT

In this paper we show that High-Definition (HD) maps provide strong priors that can boost the performance and robustness of modern 3D object detectors. Towards this goal, we design a single stage detector that extracts geometric and semantic features from the HD maps. As maps might not be available everywhere, we also propose a map prediction module that estimates the map on the fly from raw LiDAR data. We conduct extensive experiments on KITTI as well as a large-scale 3D detection benchmark containing 1 million frames, and show that the proposed map-aware detector consistently outperforms the state-of-the-art in both mapped and un-mapped scenarios. Importantly the whole framework runs at 20 frames per second.

研究の動機と目的

• HDマップが3D物体検出性能を向上させる強力な先行情報を提供することを実証する。
• LiDARと意味的・幾何的マップ先行情報を融合する単段BEV検出器を開発する。
• マップがない場合に備え、LiDARデータからのオンラインマップ先行情報を予測することで対応する。
• マップあり・なしのシナリオで堅牢性を検証するため、KITTI BEVとTOR4Dベンチマークでこのアプローチを評価する。

提案手法

• LiDARをBEVで表現し、HDマップ先行情報（地面の高さい relative to map、セマンティックな道路マスク）で補強する。
• マップ由来のチャネルを離散化されたLiDAR BEVと連結して先行情報を融合し、完全畳み込みバックボーンと密な検出ヘッダーで処理する。
• 多目的損失（分類には focal loss、回帰には smooth L1）で学習し、マップ先行情報が利用不能な場合の堅牢性を高めるためマップ先行情報のデータドロップアウトを適用する。
• 推論時には密なBEV予測からNMSを用いて向き付き3Dボックスを取得する。
• 単一の LiDARスウィープからU-Netを用いて地面高と道路マスクをオンラインで推定するマップ推定モジュールを提供し、未マップのシナリオを可能にする。

実験結果

リサーチクエスチョン

• RQ1 HDマップはBEVにおける3D物体検出の精度と堅牢性を向上させる有用な先行情報を提供できるか？
• RQ2 意味的マップ先行と幾何学的マップ先行は検出性能にそれぞれどれだけ寄与するか？
• RQ3 マップ先行情報で訓練された検出器は、オンラインマップ予測を用いてマップが利用できない場合に堅牢に動作できるか？
• RQ4 実世界のベンチマークにHDマップとオンラインマップ推定を取り込むことの性能と速度への影響は？
• RQ5 HDNETはマップ非使用のベースラインと比較して短距離および長距離でどのようにパフォーマンスを示すか？

主な発見

• HDNETはHDマップが利用可能な場合、TOR4DとKITTIの両方で強力なマップフリーベースライン（PIXOR++）を上回る。
• TOR4Dでは、オフラインマップ使用時に0–70 m、30–50 m、50–70 mレンジでそれぞれAPが2.42、3.43、5.49ポイント向上する。
• オンラインマップ先行情報（単一のLiDARスウィープから推定）でもHDNETはベースラインに対して顕著な向上を達成（例えば、それぞれのレンジで+0.91/ +1.69 / +0.92）。
• オフラインHDマップを使用すると、オンライン先行よりも全体で最大+2.42 AP、長距離では最大+5.49 APの利得を提供する。
• KITTI BEVでは、HDNETは中程度設定でPIXOR++より絶対APを2.87ポイント向上させ、カメラデータや外部ラベルを使用する手法を上回る。
• フレームワークは約20 frames per secondで動作し、リアルタイム展開に適している。