[論文レビュー] PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection

Guangsheng Shi, Ruifeng Li+1 more|arXiv (Cornell University)|May 16, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

PillarNet は、ピラー特徴学習のための強力な階層的エンコーダ、特徴融合のためのマルチスケールネック、方向性を分離したIoU回帰損失を導入することで、2D畳み込みのみを用いてリアルタイムで高精度な3Dオブジェクト検出を実現する。nuScenes および Waymo Open Dataset において最先端の性能を達成し、nuScenes で16 FPS、Waymo で21 FPS を記録。従来のピラー基盤およびボクセル基盤の検出器を、精度と効率の両面で上回った。

ABSTRACT

Real-time and high-performance 3D object detection is of critical importance for autonomous driving. Recent top-performing 3D object detectors mainly rely on point-based or 3D voxel-based convolutions, which are both computationally inefficient for onboard deployment. In contrast, pillar-based methods use solely 2D convolutions, which consume less computation resources, but they lag far behind their voxel-based counterparts in detection accuracy. In this paper, by examining the primary performance gap between pillar- and voxel-based detectors, we develop a real-time and high-performance pillar-based detector, dubbed PillarNet.The proposed PillarNet consists of a powerful encoder network for effective pillar feature learning, a neck network for spatial-semantic feature fusion and the commonly used detect head. Using only 2D convolutions, PillarNet is flexible to an optional pillar size and compatible with classical 2D CNN backbones, such as VGGNet and ResNet. Additionally, PillarNet benefits from our designed orientation-decoupled IoU regression loss along with the IoU-aware prediction branch. Extensive experimental results on the large-scale nuScenes Dataset and Waymo Open Dataset demonstrate that the proposed PillarNet performs well over state-of-the-art 3D detectors in terms of effectiveness and efficiency. Code is available at \url{https://github.com/agent-sgs/PillarNet}.

研究の動機と目的

• ピラー基盤とボクセル基盤の3D検出器の性能格差を是正すること。これは、計算コストが低くても精度が低いという問題があるため。
• 自律走行プラットフォームでのリアルタイム推論を可能にすること。計算負荷を最小限に抑えつつ、検出精度を最大化すること。
• 2D畳み込みのみを用いて、可変なピラーサイズとモデルの複雑さに対応できる柔軟でスケーラブルなアーキテクチャを設計すること。
• 方向性を分離したIoU回帰とIoUに配慮した補正を含む、新たな損失設計により、局所化精度を向上させること。
• 適切に設計されたピラー基盤検出器が、速度と精度の両面で最先端のボクセル基盤モデルを上回れることを示すこと。

提案手法

• スパースな2D畳み込みを用いた5段階のエンコーダネットワークを提案。段階5では、より大きな受容 field を得るために標準の2D畳み込みを用いる。
• 段階5の高レベルの意味的特徴と段階4の低レベルの空間的特徴を統合するため、スタックされた畳み込み層を備えたネックモジュールを導入。
• ピラーのサイズに応じてエンコーダ段階を動的に削除できる柔軟なアーキテクチャを採用。これにより、さまざまな解像度要件にスケーラブルに対応可能。
• ボックス回帰から方向性予測を分離することで、局所化精度を向上させるために、方向性を分離したIoU（OD-IoU）回帰損失を設計。
• 分類スコアと局所化の信頼度を一致させるために、IoUに配慮した補正ブランチを統合。mAP および NDS の向上に寄与。
• VGG や ResNet といった標準的な2D CNNバックボーンをサポート。これにより、既存のモデルやトレーニングパイプラインとの互換性を確保。

実験結果

リサーチクエスチョン

• RQ1 2D畳み込みのみを用いて、リアルタイム推論速度を維持しながら、ピラー基盤の3D検出器が最先端の性能を達成できるか？
• RQ2 ピラー特徴エンコーディングを向上させ、ボクセル基盤の検出器との精度格差を埋めるために、どのアーキテクチャ的要素が最も重要か？
• RQ3 ピラーのサイズの選択が検出性能に与える影響は何か？また、モデルがさまざまなピラースケールに柔軟に適合可能か？
• RQ4 OD-IoU やIoUに配慮した補正といった新たな損失関数は、局所化精度とmAP/NDSスコアにどの程度向上効果をもたらすか？
• RQ5 スケーラブルでモジュラーな設計は、性能を犠牲にすることなく、多様なハードウェア制約にも展開可能か？

主な発見

• PillarNet-18 は、nuScenes 検証セットで 59.41% の mAP と 67.09% の NDS を達成。CenterPoint-SECOND や PointPillars を上回った。
• 段階5のエンコーダを含む完全な PillarNet-18 は、nuScenes で 16 FPS で 59.48% の mAP と 67.15% の NDS を達成。速度と精度のトレードオフが優れていた。
• 0.2m ではなく 0.075m のより細かいピラーサイズを用いることで顕著な性能向上が得られ、0.2m の PointPillars と比較して +1.61% の mAP 増加を達成。
• 方向性を分離したIoU（OD-IoU）損失が最も高い性能向上をもたらし、ベースライン損失と比較して mAP が +0.24%、NDS が +0.24% 向上した。
• IoUに配慮した補正により、mAP が +0.34% 向上。分類スコアと局所化信頼度の一致に有効であることが示された。
• 0.6m のピラーサイズを用いた PillarNet は 57.87% の mAP と 66.05% の NDS を達成。粗い解像度でも強力な性能を示し、アーキテクチャの頑健性を裏付けた。