[論文レビュー] Pyramid R-CNN: Towards Better Performance and Adaptability for 3D Object Detection

Jiageng Mao, Minzhe Niu+4 more|arXiv (Cornell University)|Sep 6, 2021

Advanced Neural Network Applications参考文献 35被引用数 11

ひとこと要約

Pyramid R-CNN は、点群におけるスパarsityおよび非一様な点分布の問題に対処するための、2段階の3次元オブジェクト検出フレームワークである。RoIグリッドピラミッド、RoIグリッドアテンション、および密度に配慮した半径予測を組み合わせることで、スパースな点からの特徴抽出を向上させ、KITTIで82.08%のモダレートな車両mAPを達成し、Waymo LiDARオンリーランキングで1位を獲得する、最先端の性能を実現した。

ABSTRACT

We present a flexible and high-performance framework, named Pyramid R-CNN, for two-stage 3D object detection from point clouds. Current approaches generally rely on the points or voxels of interest for RoI feature extraction on the second stage, but cannot effectively handle the sparsity and non-uniform distribution of those points, and this may result in failures in detecting objects that are far away. To resolve the problems, we propose a novel second-stage module, named pyramid RoI head, to adaptively learn the features from the sparse points of interest. The pyramid RoI head consists of three key components. Firstly, we propose the RoI-grid Pyramid, which mitigates the sparsity problem by extensively collecting points of interest for each RoI in a pyramid manner. Secondly, we propose RoI-grid Attention, a new operation that can encode richer information from sparse points by incorporating conventional attention-based and graph-based point operators into a unified formulation. Thirdly, we propose the Density-Aware Radius Prediction (DARP) module, which can adapt to different point density levels by dynamically adjusting the focusing range of RoIs. Combining the three components, our pyramid RoI head is robust to the sparse and imbalanced circumstances, and can be applied upon various 3D backbones to consistently boost the detection performance. Extensive experiments show that Pyramid R-CNN outperforms the state-of-the-art 3D detection models by a large margin on both the KITTI dataset and the Waymo Open dataset.

研究の動機と目的

• 3次元オブジェクト検出におけるスパースで非一様に分布する点群、特に遠方または点密度が低い領域の課題に対処すること。
• 2段階の3次元検出器のロバスト性と適応性を向上させるために、第2段階における RoI 特徴抽出を強化すること。
• さまざまな3次元バックボーン（ポイントベース、ボクセルベース、ポイント-ボクセルハイブリッド）と互換性があり、一貫した性能向上をもたらす汎用的なフレームワークを設計すること。
• RoI 特徴学習中にスパースな点群による十分なコンテキストの欠如が引き起こす性能低下を軽減すること。
• 学習可能なコンテキストに配慮した特徴抽出メカニズムにより、点密度の変動に応じた動的適応を可能にすること。

提案手法

• 標準の RoI グリッドを多段階ピラミッド構造に拡張した RoI グリッドピラミッドを提案し、RoI 内外の注目ポイントをより多く捉えることで、スパarsity を軽減する。
• アテンションベースとグラフベースのポイント演算子を統合した統一的定式化である RoI グリッドアテンションを導入し、RoI 近辺の重要な注目ポイントに動的に注目する。
• 各 RoI の局所的な点密度に基づいて最適な特徴抽出半径を予測する DARP（Density-Aware Radius Prediction）モジュールを設計する。
• RoI グリッドピラミッド、RoI グリッドアテンション、DARP の3つのモジュールを統合した1つのピラミッド RoI ヘッドを構築し、スパースかつ不均衡な状況下での特徴表現を強化する。
• 複数の3次元バックボーン（例：PointNet++、VoxelNet、PV-RCNN）にピラミッド RoI ヘッドを適用することで、汎用性と一貫した性能向上を実証する。
• 2段階の検出パイプラインを採用：最初の段階で候補領域を生成し、2番目の段階でピラミッド RoI ヘッドを用いて RoI を精緻化することで、局所化と分類性能を向上させる。

Figure 1: Statistical results on the KITTI dataset. Blue bars denote the distribution of the number of object points. Orange bars denote the distribution of the number of points gathered by RoIs in Pyramid R-CNN. Our approach can mitigate the sparsity and imbalanced distribution problems of point cl

実験結果

リサーチクエスチョン

• RQ1 多段階の RoI グリッド構造は、スパースな点群からの3次元オブジェクト検出におけるスパarsity 問題を効果的に軽減できるか？
• RQ2 グラフとアテンションの演算子を統合した統一的アテンション機構は、スパースな注目ポイントからの特徴抽出を改善できるか？
• RQ3 局所的な点密度に基づいて RoI の半径を動的に調整することで、低点数の難易度の高いオブジェクトの検出性能が向上するか？
• RQ4 提案されたピラミッド RoI ヘッドは、さまざまな3次元バックボーンアーキテクチャ（ポイントベース、ボクセルベース、ハイブリッド）に汎用的に適用可能か？
• RQ5 本フレームワークは、KITTI や Waymo のベンチマークデータセットにおいて、スパースかつ不均衡な点分布下でどの程度検出精度を向上させるか？

主な発見

• Pyramid R-CNN は KITTI データセットで 82.08% のモダレートな車両 mAP を達成し、先行する最先端手法を顕著に上回った。
• Waymo Open Dataset において、Pyramid R-CNN は LiDARオンリーメソッドとして車両検出で1位を獲得し、優れた汎用性とロバスト性を示した。
• アブレーションスタディの結果、各モジュール（RoI グリッドピラミッド：+1.20% mAP、RoI グリッドアテンション：+0.51% mAP、DARP：+0.37% mAP）が独立して性能向上に寄与していることが確認された。
• ピラミッド RoI ヘッドは計算効率を維持しており、KITTI での推論速度は 7.86 Hz（単一 V100）であり、PV-RCNN などのベースラインモデルとわずかに遅いにとどまった。
• マルチスケールのグリッド配置（ρw, ρl > 1）を備えた RoI グリッドピラミッドは、標準の単一レベル RoI グリッドに比べて mAP を最大 1.20% 向上させた。
• 本フレームワークはバックボーンにわたって効果的に汎用化された：Pyramid-PV（ポイント-ボクセルハイブリッド）は KITTI の車両カテゴリで 88.39% の AP を達成し、PV-RCNN を 1.94% 上回った。

Figure 2: The overall architecture. Our Pyramid R-CNN can be plugged on diverse backbones ( e.g . point-based, voxel-based and point-voxel-based networks), which generate 3D proposals and Points of Interest (yellow points) on the stage- $1$ . On the stage- $2$ , we propose the pyramid RoI head that