[論文レビュー] Embracing Single Stride 3D Object Detector with Sparse Transformer

Lue Fan, Ziqi Pang+6 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Neural Network Applications被引用数 12

ひとこと要約

本論文では、単一スライドのスパース自己注意を用いて、ネットワーク全体でフル解像度の特徴マップを維持する3次元物体検出器であるSingle-stride Sparse Transformer (SST) を提案する。これにより、単一スライドアーキテクチャにおける受容 field の制限を克服する。スパースボクセル化と局所的注意を活用することで、Waymo Open Dataset において最先端の性能を達成し、特に歩行者検出においてバリデーションスプリットで 83.8% の LEVEL_1 AP を達成する。

ABSTRACT

In LiDAR-based 3D object detection for autonomous driving, the ratio of the object size to input scene size is significantly smaller compared to 2D detection cases. Overlooking this difference, many 3D detectors directly follow the common practice of 2D detectors, which downsample the feature maps even after quantizing the point clouds. In this paper, we start by rethinking how such multi-stride stereotype affects the LiDAR-based 3D object detectors. Our experiments point out that the downsampling operations bring few advantages, and lead to inevitable information loss. To remedy this issue, we propose Single-stride Sparse Transformer (SST) to maintain the original resolution from the beginning to the end of the network. Armed with transformers, our method addresses the problem of insufficient receptive field in single-stride architectures. It also cooperates well with the sparsity of point clouds and naturally avoids expensive computation. Eventually, our SST achieves state-of-the-art results on the large scale Waymo Open Dataset. It is worth mentioning that our method can achieve exciting performance (83.8 LEVEL 1 AP on validation split) on small object (pedestrian) detection due to the characteristic of single stride. Codes will be released at https://github.com/TuSimple/SST

研究の動機と目的

• LiDAR を用いた 3次元物体検出器におけるマルチスライドダウンサンプリングの従来の使用を挑戦し、歩行者のような小規模な 3次元オブジェクトに対しては最適でないことを示す。
• すべての空間解像度を保持する単一スライドネットワークが、高い計算コストを伴うものの、マルチスライドベースラインを上回る性能を達成できるかを調査する。
• 単一スライド 3次元検出器における受容 field の制限と高い計算コストという二重の課題に、スパースで局所的な注意メカニズムを用いて対処する。
• 点群のスパarsity を活用しながら、小規模なオブジェクトのための強力な文脈モデリングを維持するモデルを設計する。
• 変換器がスパース 3次元ボクセルグリッドに適応された場合、単一スライド設定において、標準的な畳み込みネットワークを上回ることを実証する。

提案手法

• 本手法は、すべてのダウンサンプリング操作を回避する単一スライドバックボーンを採用し、3次元点群ボクセル化の元の空間解像度を維持する。
• スパースリージョナルアテンション (SRA) を導入し、スパース 3次元ボクセルグリッドを局所的領域に分割し、各領域内で自己注意を適用することで、有効な受容 field を拡大する。
• SRA は、非空のボクセルと局所的な空間近傍に限定して注意を計算することで、計算効率を高め、グローバルな注意計算を回避する。
• 複数の SRA ブロックをスタックすることで、スパarsity を維持したまま階層的特徴学習が可能な深いトランスフォーマー符号化器を構築する。
• モデルは、バリエーションに応じてアンカーベースまたはアンカーレスの 3次元検出ヘッドを用いて、エンドツーエンドで訓練される。
• 本手法は、既存の 3次元検出フレームワークと互換性があり、MMDetection3D にスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 歩行者のような非常に小さな相対的なサイズの 3次元オブジェクトに対して、3次元物体検出器におけるマルチスライドダウンサンプリングが意味のある利点を提供しているのか？
• RQ2 計算コストの増加と受容 field の縮小のリスクがあるにもかかわらず、単一スライド 3次元検出器が競争力のある性能を達成できるか？
• RQ3 スパースで局所的な注意メカニズムが、計算コストを著しく増大させることなく、単一スライド 3次元検出器における受容 field を効果的に拡大できるか？
• RQ4 スパース 3次元空間における注意メカニズムは、拡張畳み込みや大きなカーネルと比較して、特徴表現力と効率性の面でどのように異なるか？
• RQ5 単一スライド設計が、歩行者のような検出が困難な小規模オブジェクトの検出性能をどの程度向上させるか？

主な発見

• 提案された SST は、Waymo Open Dataset のバリデーションスプリットで 83.8% の LEVEL_1 AP を達成し、3次元物体検出において新たな最先端性能を樹立した。
• SST は歩行者クラスで 71.1% の AP を達成し、以前の手法を著しく上回った。これは、小規模なオブジェクトに対する単一スライド解像度の利点を示している。
• アブレーションスタディの結果、SRA の領域サイズを大きくすることで歩行者検出性能が向上し、最大の領域サイズが最も優れた結果をもたらした。
• SST はネットワークの深さに対して頑健であり、層数が少ないほど歩行者検出性能がわずかに向上する傾向にあり、注意メカニズムが強力なインダクティブバイアスを提供していることが示された。
• SST は、すべてのベースラインを上回る AP を達成しながら、特に大きなカーネルのスパース畳み込みや深層残差ネットワークを用いたモデルと比較して、低レイテンシを維持している。
• 定性的な分析から、注意重みが明確に意味的特徴を識別しており、関連するオブジェクト部分に注目し、背景ポイントを抑制することで、誤検出を低減していることが確認された。