[論文レビュー] PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds

Jinyu Li, Chenxu Luo+1 more|arXiv (Cornell University)|May 8, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

PillarNeXt は、ネットワーク設計を再考することで、LiDAR ポイントクラウド向けに簡素化されながらも非常に効果的な 3D 動物体検出フレームワークを提案する。ピラーに基づく特徴符号化を採用し、現代的な 2D 検出手法——特に拡大された受容 field と最適化された学習——を組み合わせることで、Waymo Open Dataset および nuScenes で最先端の性能を達成。複雑で幾何学に特化したモデルを上回りながら、低遅延を維持している。

ABSTRACT

In order to deal with the sparse and unstructured raw point clouds, LiDAR based 3D object detection research mostly focuses on designing dedicated local point aggregators for fine-grained geometrical modeling. In this paper, we revisit the local point aggregators from the perspective of allocating computational resources. We find that the simplest pillar based models perform surprisingly well considering both accuracy and latency. Additionally, we show that minimal adaptions from the success of 2D object detection, such as enlarging receptive field, significantly boost the performance. Extensive experiments reveal that our pillar based networks with modernized designs in terms of architecture and training render the state-of-the-art performance on the two popular benchmarks: Waymo Open Dataset and nuScenes. Our results challenge the common intuition that the detailed geometry modeling is essential to achieve high performance for 3D object detection.

研究の動機と目的

• LiDAR ポイントクラウドにおける高精度 3D 動物体検出に、細粒度の局所幾何モデリングが不可欠であるという一般的な仮定に挑戦すること。
• 計算リソースを局所ポイント集約モジュールに割り当てるのではなく、現代化されたネットワークアーキテクチャに割り当てる方が効果的かどうかを調査すること。
• 2D 動物体検出の進展——例えば拡大された受容 field や改善された学習戦略——を 3D 検出フレームワークに適用する有効性を評価すること。
• 今後の LiDAR を用いた 3D 動物体検出分野の研究のための強力でスケーラブルかつ効率的なベースラインを確立すること。

提案手法

• 本手法は、スパースなポイントクラウドを規則的なグリッドに変換するピラーに基づく特徴エンコーダーを用い、効率的な 2D 畳み込み演算を可能にする。
• 特徴表現を強化するために、Swin Transformer をベースにしたバックボーンや BiFPN ネックといった現代的な 2D 検出コンponents を適用する。
• 主な設計選択肢として、最終的な検出ヘッド段階での受容 field を拡大し、マルチスケール特徴融合を置き換えることで性能を向上させている。
• 一般化性能を向上させるために、CBGS 再サンプリングとフェードドコピー＆ペーストデータオーグメンテーションといった高度な学習技術を用いて訓練する。
• ネットワークの深さと幅を最適化することで、精度と推論速度の両立を図り、オンボードおよびオフボードシステムへのデプロイを可能にしている。
• 複雑でポイントクラウドに特化したモジュールを回避し、代わりに BEV 空間に適応された実証済みの 2D 検出実践を活用している。

実験結果

リサーチクエスチョン

• RQ1 計算リソースが同等に割り当てられた場合、より複雑なボクセルベースやマルチビュー統合手法と比較して、単純なピラーに基づく局所ポイント集約モジュールが優れた性能を発揮するか？
• RQ2 2D 動物体検出の進展——例えば拡大された受容 field や改善された学習戦略——が、LiDAR ポイントクラウドにおける 3D 検出性能にどの程度寄与するか？
• RQ3 特殊な 3D 幾何モデリングコンponents を備えない単一段階のピラー基盤検出器が、最先端の性能を達成できるか？
• RQ4 標準的なベンチマーク、たとえば Waymo や nuScenes において、ピラー基盤モデルの性能は、最先端のボクセル基盤およびマルチビュー統合モデルと比べてどうか？

主な発見

• PillarNeXt-B は、テスト時オーグメンテーションなしで、Waymo Open Dataset のテストセットで 84.40% の 3D mAP と 81.44% の BEV mAP を達成し、最先端の手法を上回った。
• nuScenes では、PillarNeXt-B が 68.8% の NDS と 62.5% の mAP を達成し、mAP においてすべての主要なボクセル基盤およびマルチビュー統合モデルを上回りながらも、高い効率性を維持した。
• ピラー基盤モデルは、歩行者や交通丸柱などの小形物体に対しても、ボクセル基盤モデルと同等またはそれ以上の性能を発揮し、細粒度の幾何が不可欠であるという考えを覆した。
• 最終検出ヘッド段階での受容 field の拡大が顕著に性能向上に寄与し、先行研究で用いられるマルチスケール特徴融合戦略を上回った。
• 最小限のアーキテクチャ的変更で最先端の結果を達成した。これは、現代の 2D 検出実践が 3D LiDAR 検出に非常に高い適合性を持つことを示している。
• PillarNeXt の単一フレーム版ですら、200 フレームのシーケンスを用いて精錬を行う 3DAL ようなマルチフレーム手法を上回った。これは、モデルの強力な特徴学習能力を裏付けるものである。