[論文レビュー] FSD V2: Improving Fully Sparse 3D Object Detection with Virtual Voxels

Lue Fan, Feng Wang+2 more|arXiv (Cornell University)|Aug 7, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

FSDv2 は、FSDv1 のクラスタリングに基づくインスタンスレベル表現を置き換えるために仮想ボクセル（中心点をボクセライズ化して形成される人工的なボクセル）を導入することで、完全にスパースな 3D 物体検出フレームワークを提案する。これにより、手作業で設計されたインダクティブバイアスが排除され、パイプラインが簡素化され、一般化性能が向上し、Waymo、nuScenes、Argoverse 2 データセットで最先端の性能を達成する。計算遅延の増加は最小限であり、ハイパーパramータに対して強いロバスト性を示す。

ABSTRACT

LiDAR-based fully sparse architecture has garnered increasing attention. FSDv1 stands out as a representative work, achieving impressive efficacy and efficiency, albeit with intricate structures and handcrafted designs. In this paper, we present FSDv2, an evolution that aims to simplify the previous FSDv1 while eliminating the inductive bias introduced by its handcrafted instance-level representation, thus promoting better general applicability. To this end, we introduce the concept of extbf{virtual voxels}, which takes over the clustering-based instance segmentation in FSDv1. Virtual voxels not only address the notorious issue of the Center Feature Missing problem in fully sparse detectors but also endow the framework with a more elegant and streamlined approach. Consequently, we develop a suite of components to complement the virtual voxel concept, including a virtual voxel encoder, a virtual voxel mixer, and a virtual voxel assignment strategy. Through empirical validation, we demonstrate that the virtual voxel mechanism is functionally similar to the handcrafted clustering in FSDv1 while being more general. We conduct experiments on three large-scale datasets: Waymo Open Dataset, Argoverse 2 dataset, and nuScenes dataset. Our results showcase state-of-the-art performance on all three datasets, highlighting the superiority of FSDv2 in long-range scenarios and its general applicability to achieve competitive performance across diverse scenarios. Moreover, we provide comprehensive experimental analysis to elucidate the workings of FSDv2. To foster reproducibility and further research, we have open-sourced FSDv2 at https://github.com/tusen-ai/SST.

研究の動機と目的

• FSDv1 における手作業で設計されたクラスタリングによって生じるインダクティブバイアスを解消し、多様なシーンにわたる一般適用性を向上させること。
• スパース検出器における Center Feature Missing (CFM) 問題を、インスタンスレベル特徴量を仮想ボクセルに置き換えることで解消すること。
• クラスタリングや SIR モジュールなどの複雑なコンponents を削除することで、完全にスパースな検出パイプラインを簡素化すること。
• 効率性を損なわずに、複数の大型スケール 3D 検出ベンチマークで最先端の性能を達成すること。
• ルールベースのインスタンスセグメンテーションを学習可能で微分可能な仮想ボクセル機構に置き換えることで、モデルの一般化性能を向上させること。

提案手法

• 中心点を表す人工的な点（中心点投票点）をボクセライズ化することで仮想ボクセルを導入し、これによりクラスタリングに基づくインスタンス表現を置き換える。
• 同じ物体に属する仮想ボクセル間の特徴量を集約する軽量なスパース仮想ボクセルミキサー（VVM）を設計し、特徴量の完全性を向上させる。
• 仮想ボクセルをバウンディングボックス予測のアンカー点として使用することで、回帰ターゲットの分散を低減し、学習の安定性を向上させる。
• 予測された特徴量を仮想ボクセルにマッピングする仮想ボクセル割り当て戦略を採用し、直接検出ヘッドの推論を可能にする。
• 効率的なポイントクラウド符号化のため、スパースバックボーン（例：Sparse-UNet）を用い、その後に中心点投票と仮想ボクセライズ化を実行する。
• 仮想ボクセル機構を完全にスパースなパイプラインに統合し、エンドツーエンドの微分可能性と計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 仮想ボクセルは、インダクティブバイアスを低減させながら、完全にスパースな 3D 検出器におけるクラスタリングベースのインスタンスレベル表現を効果的に置き換えることができるか？
• RQ2 仮想ボクセル機構は、スパースポイントクラウド検出における Center Feature Missing (CFM) 問題をどのように軽減するか？
• RQ3 手作業で設計されたクラスタリングを学習可能な仮想ボクセライズ化に置き換えることで、多様な 3D 検出ベンチマークにおける一般化性能が向上するか？
• RQ4 FSDv2 の性能は、長距離および混雑したシナリオにおいて FSDv1 や SOTA 手法と比較してどのように異なるか？
• RQ5 仮想ボクセルのサイズや設計選択が、検出精度および推論効率に与える影響は何か？

主な発見

• FSDv2 は Waymo Open Dataset で 62.0 の mAP を達成し、FSDv1 や既存の SOTA 手法を上回る。
• nuScenes データセットでは、68.5 の NDS と 62.0 の mAP を達成し、多様なシーンにわたる強力な一般化性能を示している。
• Argoverse 2 では、フルトレーニングおよび増強設定下で 37.6 の mAP を達成し、FSDv1 の 28.2 mAP に比べて顕著な向上を示している。
• 仮想ボクセル機構により、正例と負例のサンプルの不均衡と回帰分散が低減され、物体中心に整合した仮想ボクセルをアンカー点として使用することで実現されている。
• 仮想ボクセルサイズに対して性能がロバストであり、より大きなサイズ（例：0.5×0.5×0.4 m）では、オブジェクトサイズの不均衡が低減されるため、わずかに優れた結果が得られている。
• 実行時間評価では、FSDv1 とほぼ同等の効率性を示しており、VVM モジュールの追加にもかかわらず、総遅延がたった 2.5ms 増加にとどまっている。