[論文レビュー] PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection

Shaoshuai Shi, Li Jiang+6 more|arXiv (Cornell University)|Jan 31, 2021

Advanced Neural Network Applications参考文献 89被引用数 28

ひとこと要約

PV-RCNN++ は点ベースとボクセルベースの特徴を密に結合することにより 3D 物体検出を前進させ、セクター化サンプリングと VectorPool 集約を導入して LiDAR データ上でより高速で高精度な検出を実現します。

ABSTRACT

3D object detection is receiving increasing attention from both industry and academia thanks to its wide applications in various fields. In this paper, we propose Point-Voxel Region-based Convolution Neural Networks (PV-RCNNs) for 3D object detection on point clouds. First, we propose a novel 3D detector, PV-RCNN, which boosts the 3D detection performance by deeply integrating the feature learning of both point-based set abstraction and voxel-based sparse convolution through two novel steps, i.e., the voxel-to-keypoint scene encoding and the keypoint-to-grid RoI feature abstraction. Second, we propose an advanced framework, PV-RCNN++, for more efficient and accurate 3D object detection. It consists of two major improvements: sectorized proposal-centric sampling for efficiently producing more representative keypoints, and VectorPool aggregation for better aggregating local point features with much less resource consumption. With these two strategies, our PV-RCNN++ is about $3 imes$ faster than PV-RCNN, while also achieving better performance. The experiments demonstrate that our proposed PV-RCNN++ framework achieves state-of-the-art 3D detection performance on the large-scale and highly-competitive Waymo Open Dataset with 10 FPS inference speed on the detection range of 150m * 150m.

研究の動機と目的

• 点群に対する点横ベースとボクセルベースの特徴学習を組み合わせることで、3D 物体検出の改善を動機づける。
• ボクセルからキーポイントへのエンコーディングとキーポイントからグリッド RoI 特徴を深く統合する2段階検出器（PV-RCNN）を開発する。
• 大規模シーンでの効率と精度のために、セクター化サンプリングと VectorPool 集約を備えた PV-RCNN++ を導入する。

提案手法

• 初期提案のために三次元のスパース畳み込みバックボーンを用いて多スケールのボクセル特徴を生成する。
• キーポイントにおけるボクセル特徴をボクセルセット抽象化（Voxel Set Abstraction）で要約し、多スケールのキーポイント特徴を形成する。
• RoIグリッド点へキーポイント特徴を集約する RoIグリッドプーリングを用いて、細粒度のリファインメントを行う。
• リファインメント時に前景キーポイントを強調するための予測キーポイント重み付けを適用する（任意）。
• PV-RCNN++ はキーポイントサンプリングを高速化する Sectorized Proposal-Centric sampling と、局所特徴エンコーディングを効率化する VectorPool 集約を追加する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルベースと点ベースの特徴の深い統合は、ボクセル法や点法単独の精度を超える 3D 検出精度を向上させることができるか？
• RQ2 セクター化されたキーポイントサンプリングと VectorPool 集約は、大規模データセットでの性能を維持または向上させつつ、推論時間とメモリ使用量を削減するか？
• RQ3 提案された RoI-grid プーリング戦略は、従来の RoI 手法と比較して提案のリファインメント品質にどのような影響を与えるか？
• RQ4 前景に焦点を当てたキーポイント重み付けが検出結果へ与える影響は何か？

主な発見

• PV-RCNN++ は PV-RCNN の約3倍の速度で、より良い性能を達成する。
• Waymo Open Dataset の 150m x 150m 範囲で最先端の結果を達成する。
• このフレームワークは大範囲検出の推論を10 FPS に可能にする。
• セクター化サンプリングは提案の周辺にキーポイントを集中させ、サンプリングを加速する。
• VectorPool 集約は大規模な点群のためのメモリ効率が高く、位置感知型局所特徴エンコーディングを提供する。