[論文レビュー] Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion

Xuewu Lin, Tianwei Lin+3 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Image and Video Retrieval Techniques被引用数 30

ひとこと要約

Sparse4Dは、変形可能な4Dサンプリング（点、タイムスタンプ、視点、スケール）と階層的フュージョン、さらにインスタンス深度再重み付けモジュールを備えた、スパースなマルチビュー3D検出を導入し、nuScenesにおけるスパース法の最先端性能を達成する。

ABSTRACT

Bird-eye-view (BEV) based methods have made great progress recently in multi-view 3D detection task. Comparing with BEV based methods, sparse based methods lag behind in performance, but still have lots of non-negligible merits. To push sparse 3D detection further, in this work, we introduce a novel method, named Sparse4D, which does the iterative refinement of anchor boxes via sparsely sampling and fusing spatial-temporal features. (1) Sparse 4D Sampling: for each 3D anchor, we assign multiple 4D keypoints, which are then projected to multi-view/scale/timestamp image features to sample corresponding features; (2) Hierarchy Feature Fusion: we hierarchically fuse sampled features of different view/scale, different timestamp and different keypoints to generate high-quality instance feature. In this way, Sparse4D can efficiently and effectively achieve 3D detection without relying on dense view transformation nor global attention, and is more friendly to edge devices deployment. Furthermore, we introduce an instance-level depth reweight module to alleviate the ill-posed issue in 3D-to-2D projection. In experiment, our method outperforms all sparse based methods and most BEV based methods on detection task in the nuScenes dataset.

研究の動機と目的

• BEVベースの手法と競合できるよう、スパース（非密）なマルチビュー3D検出の改善を促す。
• 時間・視点・スケールを横断する複数の4Dキーポイントをスパースサンプリングし、よりリッチなインスタンス特徴を得る提案。
• 多次元特徴を効率的に統合する変形可能な4Dアグリゲーションの開発。
• 画像ベースの3D認識における深度の曖昧さを緩和するため、インスタンスレベルの深度再重み付けモジュールを導入。

提案手法

• 各3Dアンカーに対して複数の4Dキーポイントを割り当て、マルチビュー・マルチスケール・マルチタイムスタンプの画像特徴から特徴をサンプリングする。
• 4Dキーポイントを画像特徴マップに投影し、スケール・ビュー・時間を横断して双線形補間でサンプリングする。
• グループベースの重み付けと時系列フュージョンを用いて、サンプル特徴を階層的に融合し、洗練されたインスタンス特徴を生成する。
• LiDAR監督なしで深度分布を利用して特徴を再重み付けするインスタンスレベルの深度再重み付けモジュールを組み込む。

実験結果

リサーチクエスチョン

• RQ1 時間・視点・スケールを跨るスパース4Dキーポイントサンプリングは、スパース型とBEV型の3D検出器の性能ギャップを縮められるか？
• RQ2 変形可能な4Dアグリゲーションは、精度の高い3Dボックスの精練化のために、空間-時間的文脈を効率的かつ効果的に融合できるか？
• RQ3 LiDAR監督なしで、インスタンスレベルの深度再重み付けはカメラベースの3D検出における深度情報の利用を改善できるか？

主な発見

• Sparse4DはnuScenesの3D検出ベンチマークで既存のスパースベース手法を上回る。
• 複数の履歴フレームを用いた時系列フュージョンは顕著な向上をもたらす。T=4では、T=1と比較してmAPとNDSが大幅に改善。
• 深度再重み付けと学習可能なキーポイントが追加の性能向上をもたらし、mAPとNDSの組み合わせの gains。
• モーション補正（ egoとオブジェクト）により、位置合わせと速度精度が大幅に向上。
• 複数のリファインメント段階と歴史的フレームとともに、Sparse4Dは主要指標でいくつかのBEVベース手法に近づくか、超える。