[論文レビュー] Focal Sparse Convolutional Networks for 3D Object Detection

Yukang Chen, Yanwei Li+3 more|arXiv (Cornell University)|Apr 26, 2022

Advanced Neural Network Applications被引用数 15

ひとこと要約

本論文は、特徴の拡張を誘導する重要度マップを予測することで、3次元スパース畳み込みネットワークにおける空間的スパarsityを動的に学習するFocal Sparse Convolution (Focals Conv) と、そのマルチモodal版Focals Conv-Fを提案する。この手法は、最小限の計算オーバーヘッドで3次元オブジェクト検出の特徴表現を向上させ、アンサンブルやテスト時増強を用いない状態でnuScenesで最先端の性能を達成しており、テストスプリットで71.8% NDSおよび67.8% mAPを記録した。

ABSTRACT

Non-uniformed 3D sparse data, e.g., point clouds or voxels in different spatial positions, make contribution to the task of 3D object detection in different ways. Existing basic components in sparse convolutional networks (Sparse CNNs) process all sparse data, regardless of regular or submanifold sparse convolution. In this paper, we introduce two new modules to enhance the capability of Sparse CNNs, both are based on making feature sparsity learnable with position-wise importance prediction. They are focal sparse convolution (Focals Conv) and its multi-modal variant of focal sparse convolution with fusion, or Focals Conv-F for short. The new modules can readily substitute their plain counterparts in existing Sparse CNNs and be jointly trained in an end-to-end fashion. For the first time, we show that spatially learnable sparsity in sparse convolution is essential for sophisticated 3D object detection. Extensive experiments on the KITTI, nuScenes and Waymo benchmarks validate the effectiveness of our approach. Without bells and whistles, our results outperform all existing single-model entries on the nuScenes test benchmark at the paper submission time. Code and models are at https://github.com/dvlab-research/FocalsConv.

研究の動機と目的

• 既存のスパース畳み込みネットワークにおける、空間的重要性にかかわらずすべての特徴を均等に処理するという制限に対処すること。
• 通常のスパース畳み込みの非効率さと特徴のぼやけ、および部分多様体スパース畳み込みの情報フロー制限が3次元オブジェクト検出に与える影響を克服すること。
• 位置ごとの重要度予測を導入することで、特徴抽出中に価値ある前景特徴に焦点を当てる、エンドツーエンドで学習可能なスパarsityを実現すること。
• Focals Conv-Fにおいて、軽量でアテンションベースの統合機構を用いてRGB画像特徴とスパースLiDAR特徴を統合することで、マルチモーダル3次元検出を向上させること。
• 空間的に学習可能なスパarsityが、特に複雑で大規模なベンチマーク（例：nuScenes）における高性能3次元オブジェクト検出に不可欠であることを示すこと。

提案手法

• 予測された立方体形状の重要度マップを用いて、空間的に適応的な出力パターンを学習することで、標準的なスパース畳み込みを置き換えるFocal Sparse Convolution (Focals Conv) を提案する。
• 各空間的位置ごとに二値または連続的な重要度マップを生成する学習可能な重要度予測ヘッドを導入し、入力特徴の拡張を高重要度ボクセルに限定する。
• 重要度マップに基づいて出力特徴マップを動的に形状化することで、価値ある特徴のみを拡張し、スパarsityを維持するとともに計算量を削減する。
• Focals ConvをFocals Conv-Fに拡張し、焦点畳み込みの出力でRGB画像特徴とLiDAR特徴を統合する。軽量な特徴統合モジュールを用いて外観および文脈情報の豊かさを向上させる。
• 重要度予測と特徴学習を同時に最適化するエンドツーエンドの学習により、モデルが特徴抽出段階で顕著な領域に焦点を当てるようにする。
• 重要度予測および統合にわずかな追加パラメータとFLOPsを用いるため、モデルの複雑さにほとんど影響を与えない。

実験結果

リサーチクエスチョン

• RQ1 スパース畳み込みにおける学習可能で空間的に適応可能なスパarsityは、すべてのスパース特徴を均等に扱う従来手法と比較して、3次元オブジェクト検出性能を向上させるか？
• RQ2 高重要度特徴のみを動的に拡張することで、計算コストを削減しつつ、スパース3次元検出における特徴の識別性を向上させられるか？
• RQ3 Focals Conv-Fにおける軽量な統合機構を用いたRGB特徴の統合により、マルチモーダルベンチマークでの検出精度がさらに向上するか？
• RQ4 統合ステージおよび範囲の選択が、Focals Conv-Fを用いたマルチモーダル3次元検出器の性能に与える影響は何か？
• RQ5 提案手法は、さまざまな重要度閾値に対してロバストであり、異なるデータセットや設定でも性能が安定しているか？

主な発見

• Focals ConvはベースラインのVoxel R-CNNを改善し、KITTIの検証スプリットで85.22% AP 3Dを達成し、Pyramid-PV や VoTr-TSD を含む従来のSoTA手法を上回った。
• KITTIのテストスプリットでは、Focals Conv-Fがマルチモーダル設定で82.28% AP 3Dを達成し、既存のシングルモデルエントリを上回った。
• nuScenesのテストベンチマークでは、Focals Conv-Fがアンサンブルやテスト時増強を用いない状態で67.8% mAPおよび71.8% NDSを達成し、シングルモデル性能として新たなSoTAを樹立した。
• テスト時増強を適用した場合、Focals Conv-Fはさらに70.1% mAPおよび73.6% NDSを達成し、PointPaintingを用いたCenterPoint v2 やCascade R-CNN といったアンサンブルベースの手法をも上回った。
• アブレーションスタディの結果、重要度閾値τを0.1から0.9の範囲で変更しても性能が安定しており、ハイパーパramータ選択に対するロバスト性が示された。
• 特に重要な特徴に限定して、ネットワークの初期段階での統合が、全特徴の統合よりも優れた性能を示し、重要ボクセルのみを対象とした初期段階の統合が最適であることがわかった。