[論文レビュー] PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

Shaoshuai Shi, Chaoxu Guo+5 more|arXiv (Cornell University)|Dec 31, 2019

3D Shape Modeling and Analysis参考文献 46被引用数 184

ひとこと要約

PV-RCNN はボクセルベースと PointNet ベースの特徴を統合し、LiDAR点群からの最先端の3D物体検出を実現し、高品質な提案と RoI特徴を生成します。

ABSTRACT

We present a novel and high-performance 3D object detection framework, named PointVoxel-RCNN (PV-RCNN), for accurate 3D object detection from point clouds. Our proposed method deeply integrates both 3D voxel Convolutional Neural Network (CNN) and PointNet-based set abstraction to learn more discriminative point cloud features. It takes advantages of efficient learning and high-quality proposals of the 3D voxel CNN and the flexible receptive fields of the PointNet-based networks. Specifically, the proposed framework summarizes the 3D scene with a 3D voxel CNN into a small set of keypoints via a novel voxel set abstraction module to save follow-up computations and also to encode representative scene features. Given the high-quality 3D proposals generated by the voxel CNN, the RoI-grid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint set abstraction with multiple receptive fields. Compared with conventional pooling operations, the RoI-grid feature points encode much richer context information for accurately estimating object confidences and locations. Extensive experiments on both the KITTI dataset and the Waymo Open dataset show that our proposed PV-RCNN surpasses state-of-the-art 3D detection methods with remarkable margins by using only point clouds. Code is available at https://github.com/open-mmlab/OpenPCDet.

研究の動機と目的

• 疎で不規則な LiDAR 点群からの高精度な 3D 物体検出を動機づける。
• 3D ボクセル CNN と PointNet 風の集合抽出を組み合わせた統一フレームワークを提案する。
• ボクセルからキー点へのシーンエンコードとキー点からグリッド RoI特徴抽象化を開発し、効率的で豊かな表現を実現する。
• 多スケールの文脈集約を通じた提案の精練と信頼度推定を可能にする。
• 点群のみを用いて KITTI および Waymo Open データセットで最先端の性能を示す。

提案手法

• 疎畳み込みを用いた 3D ボクセル CNN を backbone として効率的な特徴エンコードと 3D 提案生成を行う。
• ボクセル CNN の特徴を全シーンで要点となる小さな集合（keypoints）に要約する voxel set abstraction (VSA)。
• マルチスケールのボクセル特徴を各キー点に集約するため、マルチ半径近傍集合と PointNet 風のプーリングを用いる。
• キー点特徴を生の点と BEV（bird-eye view）特徴で豊かにし、前景強調のために Predicted Keypoint Weighting (PKW) を適用することもある。
• 各 3D 提案について 6x6x6 のグリッドをサンプリングし、マルチ半径近傍を用いた集合抽象化でキー点特徴を RoI-grid 特徴に統合する RoI-grid pooling を行う。
• L_rpn（提案生成）、L_seg（キー点分割）、L_rcnn（IoU に基づく信頼度を含む提案 refinement）という損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな点-体素アーキテクチャは LiDAR のみの 3D 検出において純粋なボクセル基盤或いは純粋なポイントベースの検出器を上回ることができるのか。
• RQ2 ボクセル CNN の特徴を小さなキー点集合に要約することは、RoI refinement のための効率的かつ豊かな特徴集約を可能にするのか。
• RQ3 マルチスケール・半径ベースの集合抽象化は、従来の RoI pooling と比べて提案 refinement および信頼度推定を改善するのか。
• RQ4 生の点と BEV 特徴でキー点を豊かにすること、及び Weighted keypoints（PKW） の影響は検出性能にどう反映されるのか。
• RQ5 PV-RCNN は大規模データセット（KITTI、Waymo Open）で以前の最先端と比較してどうなのか？
• RQ6

主な発見

• PV-RCNN は KITTI の car 3D 検出で最先端の性能を達成し、LiDAR のみの手法の中で報告時点で 1 位にランクされる。
• KITTI では PV-RCNN が Easy/Moderate/Hard の car 検出に対して 3D mAP をそれぞれ 1.58/1.72/1.73 ポイント改善した。
• PV-RCNN は Easy および Moderate の car 検出で BEV mAP もトップを達成し、Hard で若干低下する一方、Cyclist 検出の Moderate/Hard で従来の LiDAR のみ手法を上回る。
• Table 1 は PV-RCNN が 3D mAP を 90.25 (Easy), 81.43 (Moderate), 76.82 (Hard) の car、BEV mAP を 94.98 (Easy), 90.65 (Moderate), 86.14 (Hard)、Cyclist 指標を 78.60 (Easy), 63.71 (Moderate), 57.65 (Hard) の 3D mAP、BEV を 82.49 (Easy), 68.89 (Moderate), 62.41 (Hard) と示している。
• PV-RCNN は KITTI val 分割（R11 および R40）で従来手法を上回り Waymo Open Test/Validation セットでも力強い性能を示しています（論文の詳細参照）。