[論文レビュー] Fully Sparse 3D Object Detection

Lue Fan, Feng Wang+2 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Neural Network Applications被引用数 41

ひとこと要約

本論文は、Sparse Instance Recognition (SIR) を用いて長距離 LiDAR 3D 物体検出を効率的に行う Fully Sparse Detector (FSD) を提案し、Waymo Open Dataset で最先端の結果を達成し、Argoverse 2 で長距離性能を示すとともに、ポイント数に対して線形計算量を実現する。

ABSTRACT

As the perception range of LiDAR increases, LiDAR-based 3D object detection becomes a dominant task in the long-range perception task of autonomous driving. The mainstream 3D object detectors usually build dense feature maps in the network backbone and prediction head. However, the computational and spatial costs on the dense feature map are quadratic to the perception range, which makes them hardly scale up to the long-range setting. To enable efficient long-range LiDAR-based object detection, we build a fully sparse 3D object detector (FSD). The computational and spatial cost of FSD is roughly linear to the number of points and independent of the perception range. FSD is built upon the general sparse voxel encoder and a novel sparse instance recognition (SIR) module. SIR first groups the points into instances and then applies instance-wise feature extraction and prediction. In this way, SIR resolves the issue of center feature missing, which hinders the design of the fully sparse architecture for all center-based or anchor-based detectors. Moreover, SIR avoids the time-consuming neighbor queries in previous point-based methods by grouping points into instances. We conduct extensive experiments on the large-scale Waymo Open Dataset to reveal the working mechanism of FSD, and state-of-the-art performance is reported. To demonstrate the superiority of FSD in long-range detection, we also conduct experiments on Argoverse 2 Dataset, which has a much larger perception range ($200m$) than Waymo Open Dataset ($75m$). On such a large perception range, FSD achieves state-of-the-art performance and is 2.4$\times$ faster than the dense counterpart. Codes will be released at https://github.com/TuSimple/SST.

研究の動機と目的

• 密な特徴マップを取り除くことにより、長距離 LiDAR ベースの 3D 物体検出を効率化する動機づけを行い、Center Feature Missing (CFM) に対処する。
• 非空のボクセルとインスタンスグループのみを処理して、ポイント数とレンジに対してほぼ線形のコストを達成する完全に疎な検出器を開発する。
• 集約された点からインスタンスレベルの特徴を抽出し境界ボックスを予測する Sparse Instance Recognition (SIR) を提案する。
• 提案手法が Waymo で密検出器に対抗または上回り、Argoverse 2 の 200m 範囲シナリオで卓越することを示す。
• SIR が過度なダウンサンプリングや近傍クエリなしで効率的かつ正確な長距離検出を可能にすることを示す。

提案手法

• 疎なボクセルエンコーダを用いてボクセル特徴を抽出し、VoteNet に類似したセンタービ voting を実行する。
• 投票中心を Connected Components Labeling (CCL) によってインスタンスへグルーピングし、分離されたインスタンスグループを形成する。
• 動的ブロードキャスト/プーリングを用いて SIR を適用し、インスタンス特徴を抽出してグループごとに単一の境界ボックス予測を生成する。
• 追加で、第2の SIR (SIR2) によりボックス残差を回帰させ、IoU ベースのソフトラベルを分類に用いることで提案を改良する（任意）。
• セマンティック分類、投票、3D 回帰、IoU ベースの監視を含む損失の組み合わせで訓練する。

実験結果

リサーチクエスチョン

• RQ1 密 BEV 特徴マップなしで、完全に疎な 3D 検出器が長距離 LiDAR データで dense detectors を上回ることができるか？
• RQ2 Sparse Instance Recognition (SIR) は Center Feature Missing を効果的に緩和し、疎なグループから正確なインスタンスレベル予測を可能にするか？
• RQ3 長距離ベンチマーク（例：Argoverse 2）における FSD の性能は、精度と速度の点で現状の最先端手法とどう比較されるか？
• RQ4 グルーピング品質と SIR 設計が、大型と小型の物体の検出性能に与える影響はどのようか？

主な発見

• FSD は、テスト時拡張を用いずに主流の検出器の中で Waymo Open Dataset で最先端の性能を達成。
• On Argoverse 2, FSD delivers strong long-range detection (up to 200 m) and runs 2.4× faster than dense counterparts.
• Replacing diffusion-based center feature with SIR significantly improves large-object recall, addressing Center Feature Missing.
• Dynamic broadcast/pooling enables efficient instance-level feature extraction without point sampling or padding, maintaining high fidelity even with many input points.
• Grouping plus SIR yields substantial gains versus using grouping or SIR alone, highlighting the importance of end-to-end instance-level processing.