[論文レビュー] Pillar R-CNN for Point Cloud 3D Object Detection

Guangsheng Shi, Ruifeng Li+1 more|arXiv (Cornell University)|Feb 26, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

Pillar R-CNN は、ポイントボクセル間の特徴相互作用の代わりにピラーに基づくビードアイビュー（BEV）特徴表現を採用することで、シンプルでありながら効果的な2段階の3次元物体検出フレームワークを提案する。FPN を RPN に統合してマルチスケールの提案を生成し、特徴統合に密な横方向接続を用いることで、計算コストをほとんど増加させずに Waymo Open Dataset で最先端の性能を達成した。これは、ピラーに基づく BEV 特徴のみで十分な3次元構造を保持でき、高精度な検出が可能であることを示している。

ABSTRACT

The performance of point cloud 3D object detection hinges on effectively representing raw points, grid-based voxels or pillars. Recent two-stage 3D detectors typically take the point-voxel-based R-CNN paradigm, i.e., the first stage resorts to the 3D voxel-based backbone for 3D proposal generation on bird-eye-view (BEV) representation and the second stage refines them via the intermediate point representation. Their primary mechanisms involve the utilization of intermediary keypoints to restore the substantial 3D structure context from the converted BEV representation. The skilled point-voxel feature interaction, however, makes the entire detection pipeline more complex and compute-intensive. In this paper, we take a different viewpoint -- the pillar-based BEV representation owns sufficient capacity to preserve the 3D structure. In light of the latest advances in BEV-based perception, we devise a conceptually simple yet effective two-stage 3D detection architecture, named Pillar R-CNN. On top of densified BEV feature maps, Pillar R-CNN can easily introduce the feature pyramid architecture to generate 3D proposals at various scales and take the simple 2D R-CNN style detect head for box refinement. Our Pillar R-CNN performs favorably against state-of-the-art 3D detectors on the large-scale Waymo Open Dataset but at a small extra cost. It should be highlighted that further exploration into BEV perception for applications involving autonomous driving is now possible thanks to the effective and elegant Pillar R-CNN architecture.

研究の動機と目的

• 複雑なポイントボクセル特徴相互作用を排除することで、2段階の3次元物体検出を単純化すること。
• ピラーに基づく BEV 表現のみで、高精度な検出に十分な3次元構造的文脈を保持できるかどうかを調査すること。
• 2次元画像検出の進展を BEV を用いた3次元検出に適応することで、2次元画像検出と3次元点群検出のドメインギャップを埋めること。
• 既存のポイントボクセルベースの2段階検出器と比較して、計算複雑性を低減しながら、検出精度を維持または向上させること。

提案手法

• 1回の順方向伝搬で階層的な BEV 特徴マップを生成するため、ハイブリッドなスパースおよび密な畳み込みを用いたピラーに基づく特徴バックボーンを採用する。
• ピラーに基づく特徴ピラミッドを構築するための横方向接続層を導入し、スパースなピラー体積を密度化してマルチスケール特徴統合を実現する。
• RPN において FPN スタイルの特徴集約を用いて、複数スケールでクラス固有の3次元提案を生成し、小サイズ物体の検出を向上させる。
• RoIAlign を適用して、密な2次元プーリング特徴マップを切り出し、ボックスの微調整に使用する。1つの管理可能な解像度（4倍ダウンサンプリング）を用いる。
• オブジェクトのスケール変動に対してより頑健になるように、クラスに依存しない単一スケールのプーリングマップを用いる。
• IoU を考慮した信頼度補正を適用して、提案の順序付けと分類スコアの整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピラーに基づく BEV 表現のみで、高精度な3次元物体検出に十分な3次元構造的文脈を保持できるか？
• RQ2 ポイントボクセル特徴相互作用を単純なピラーに基づく特徴ピラミッドに置き換えることで、検出性能と効率が向上するか？
• RQ3 FPN を3次元検出パイプラインの RPN に効果的に適応できるか？特に小サイズ物体の検出向上に寄与するか？
• RQ4 IoU を考慮した信頼度補正は、BEV を用いた2段階3次元検出器における提案品質を向上させるか？

主な発見

• Pillar R-CNN は、Waymo Open Dataset の検証セットで車両に対して 76.48% AP、歩行者に対して 68.54% AP を達成し、最先端の2段階検出器と同等またはそれを上回る性能を示した。
• 中間のキーポイント抽象化を必要としないより単純なパイプラインを用いても、PV-RCNN や Voxel R-CNN と同等の精度を達成した。
• RPN に FPN を組み込むことで小サイズ物体の検出が向上し、特に 4× ダウンサンプリングされた特徴マップを用いた場合に最高の性能が得られた。
• プーリングマップに追加のボトムアップ特徴を組み込むと、追加コストに対してほとんど利益が得られず、4× ストライドのマップのみで十分であることが示された。
• IoU を考慮した信頼度補正により、RPN の性能が顕著に向上し、提案品質が R-CNN 水準にまで向上した。
• RPN と R-CNN のエンドツーエンド学習は、分離学習よりも優れた性能を示し、過学習や局所最適解への収束のリスクを低減した。