[論文レビュー] Rethinking Dimensionality Reduction in Grid-based 3D Object Detection

Dihe Huang, Ying Chen+8 more|arXiv (Cornell University)|Sep 20, 2022

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

本稿では、空間的分布推定を用いてZ軸に沿ってボクセル特徴を動的に集約する空間的注意型次元削減（SDR）と、推論コストを増加させずに複数レベルの3DおよびBEV特徴を統合するマルチレベル空間的残差（MSR）を導入することで、特徴学習を向上させるグリッドベースの3Dオブジェクト検出用に新規なバックボーンMDRNetを提案する。SDRは空間的分布推定を用いてZ軸に沿ってボクセル特徴を動的に集約し、MSRは推論コストを増加させることなく複数レベルの3DおよびBEV特徴を統合する。本手法は、7.5cmのボクセルサイズを用いた従来のCenterPointを上回る、nuScenes上での61.18%のmAPと67.91%のNDSを達成し、最先端の性能を発揮する。

ABSTRACT

Bird's eye view (BEV) is widely adopted by most of the current point cloud detectors due to the applicability of well-explored 2D detection techniques. However, existing methods obtain BEV features by simply collapsing voxel or point features along the height dimension, which causes the heavy loss of 3D spatial information. To alleviate the information loss, we propose a novel point cloud detection network based on a Multi-level feature dimensionality reduction strategy, called MDRNet. In MDRNet, the Spatial-aware Dimensionality Reduction (SDR) is designed to dynamically focus on the valuable parts of the object during voxel-to-BEV feature transformation. Furthermore, the Multi-level Spatial Residuals (MSR) is proposed to fuse the multi-level spatial information in the BEV feature maps. Extensive experiments on nuScenes show that the proposed method outperforms the state-of-the-art methods. The code will be available upon publication.

研究の動機と目的

• グリッドベースの3Dオブジェクト検出器における次元削減の過程で生じる3次元空間的情報の損失、特にオートバイや自軌道など複雑な形状のオブジェクトに対しての問題を解決すること。
• 計算コストを増加させることなくBEV特徴学習を向上させる普遍的なバックボーンを設計すること。
• グリッドベースの検出器におけるさまざまな次元削減操作の影響を調査し、3次元幾何的情報を効果的に保持する最適な戦略を同定すること。
• ボクセルからBEVへの変換過程において、適応的かつ空間的注意型の特徴集約を可能にし、多様なオブジェクトカテゴリの検出精度を向上させること。

提案手法

• 軽量なボクセルブランチとBEVブランチの二重ブランチネットワークアーキテクチャを提案し、複数レベルの特徴統合を可能にする。
• 空間的注意型次元削減（SDR）を導入し、空間的分布推定を用いてZ軸に沿ってボクセル特徴を動的に重み付け・集約する。
• 各段階でボクセル特徴とBEV特徴を統合するマルチレベル空間的残差（MSR）を採用し、階層的な3次元幾何的情報を保持する。
• ReLU、Sigmoid、Softmaxを用いた学習済みのアテンション重みを特徴集約をガイドするために使用し、Softmaxが最も優れた性能を示した。
• SDRを用いて初期のBEV特徴を生成し、MSRを用いて段階的に多層の3次元コンテキストでBEV特徴を豊かにする。
• プラグイン型バックボーンとして設計されており、CenterPoint や PV-RCNN などの既存のグリッドベースの検出器にスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 Z軸に沿った適応的次元削減は、BEVベースの検出器における3Dオブジェクト検出性能にどのように影響するか？
• RQ2 ボクセルからBEVへの変換過程における特徴集約をガイドする最適な空間相関分布の形（例：ReLU、Sigmoid、Softmax）は何か？
• RQ3 複数レベルの3D-BEV特徴統合は、推論時間の増加を伴わず、どの程度検出精度を向上させ得るか？
• RQ4 MDRNetのような普遍的バックボーンは、特に複雑な形状のオブジェクトに対して、強力なベースラインを上回る性能を発揮できるか？
• RQ5 固定プーリングを動的かつ空間的注意型の集約に置き換えることで、オートバイや自軌道など困難なカテゴリの検出性能が向上するか？

主な発見

• MDRNetはnuScenesの検証セットで61.18%のmAPと67.91%のNDSを達成し、7.5cmボクセルサイズを用いた元のCenterPointを上回った。
• SDR-Softmaxバージョンは、すべての次元削減操作の中で最も優れた性能を示し、61.18%のmAPと67.91%のNDSを達成した。
• 4つの段階すべてにMSRを追加することで、MSRなしのベースラインと比較してmAPが+2.25%、NDSが+1.44%向上した。
• 10cmボクセルサイズを用いたMDRNetは、7.5cmボクセルサイズを用いたCenterPointを上回り、より良い特徴学習が粗いボクセル化を補っており、性能向上を示した。
• MDRNetの推論実行時間はCenterPointとほぼ同一（100ms vs. 99ms）であり、性能向上が計算コストの増加なしに達成されたことを裏付けた。
• 定性的な結果から、SDRはオートバイのボディーやホイールなど、オブジェクトの顕著な領域を効果的に強調しており、空間的認識の向上が確認された。