[論文レビュー] PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud

Shaoshuai Shi, Xiaogang Wang+1 more|arXiv (Cornell University)|Dec 11, 2018

3D Shape Modeling and Analysis参考文献 44被引用数 161

ひとこと要約

PointRCNNは、生の点群から直接下位階層の3D提案を生成し、標準座標系でそれらを洗練させ、LiDAR点群のみを用いたKITTIの結果で最先端を達成します。

ABSTRACT

In this paper, we propose PointRCNN for 3D object detection from raw point cloud. The whole framework is composed of two stages: stage-1 for the bottom-up 3D proposal generation and stage-2 for refining proposals in the canonical coordinates to obtain the final detection results. Instead of generating proposals from RGB image or projecting point cloud to bird's view or voxels as previous methods do, our stage-1 sub-network directly generates a small number of high-quality 3D proposals from point cloud in a bottom-up manner via segmenting the point cloud of the whole scene into foreground points and background. The stage-2 sub-network transforms the pooled points of each proposal to canonical coordinates to learn better local spatial features, which is combined with global semantic features of each point learned in stage-1 for accurate box refinement and confidence prediction. Extensive experiments on the 3D detection benchmark of KITTI dataset show that our proposed architecture outperforms state-of-the-art methods with remarkable margins by using only point cloud as input. The code is available at https://github.com/sshaoshuai/PointRCNN.

研究の動機と目的

• 画像ベースの提案やボクセル化を用いず、生のLiDAR点群から直接頑健な3D物体検出を行う。
• 前景点をセグメント化し高リコールの提案を生成するボトムアップの3D提案生成モジュールを提案する。
• ボックス回帰と信頼度推定のための正確な局所特徴を学習する標準座標系リファインメント段を開発する。
• 3Dボックスの中心と姿勢の学習を安定化・加速させるためにビンベースの局所化損失を導入する。
• 点群のみを用いてKITTI 3D物体検出ベンチマークで最先端の性能を示す。

提案手法

• 前景分割と各点特徴量を介した生の点群からのボトムアップ3D提案生成。
• 多層スケールのグルーピングを用いたPointNet++ベースのバックボーンで各点特徴を抽出。
• 不均衡を扱うため focal loss を用いて、真の3D箱で前景セグメンテーションを監督する。
• 中心(x,z)と姿勢(theta)での3Dボックス提案のビンベース回帰を分類＋残差項と共に実施。
• 鳥瞰図ビューでの非極大抑制を行い、ステージ-2リファインメント用の高品質な提案を選択。
• 拡張提案内でのパッチベース領域プーリングを実施し、正準座標でのリファインメントのための局所点と特徴を収集。
• プールされた点の正準変換を行い、ポーズのばらつきを低減し局所特徴学習を改善。
• ステージ-2リファインメントネットワークは、局所的な(変換後の点)とグローバルな(ステージ-1の特徴)の手がかりを組み合わせて信頼度とボックスの改良を予測。
• ステージ-2内の中心・サイズ・姿勢の改良に対するビンベースおよび残差損失と、陽性の IoU ガイド付き割り当て。

実験結果

リサーチクエスチョン

• RQ1 ボクセルへの投影や2D/3Dアンカーの使用なしに、生の点群から直接高品質な3D提案を生成できるか？
• RQ2 プールされた提案特徴を用いたときに標準座標系リファインメントは3Dボックスの局在化と分類を改善しますか？
• RQ3 ビンベースの局所化損失は3D中心と姿勢推定の収束と精度にどのような影響を与えますか？

主な発見

手法（モダリティ）	車 AP IoU=0.7 Easy	車 AP IoU=0.7 Moderate	車 AP IoU=0.7 Hard
MV3D	71.29	62.68	56.56
VoxelNet	81.98	65.46	62.85
SECOND	87.43	76.48	69.10
AVOD-FPN	84.41	74.44	68.65
F-PointNet	83.76	70.92	63.65
Ours (no GT-AUG)	88.45	77.67	76.30
Ours	88.88	78.63	77.38

• PointRCNNは入力としてLiDAR点群のみを用いてKITTIの最先端結果を達成します。
• ボトムアップの提案生成は少数の提案で高 recalling を達成します（例：車で IoU=0.5 時に50提案でリコール96.01%、300提案で98.21%リコール）。
• KITTI車の検証分割で、IoU 0.7 で AP = 88.88（Easy）、78.63（Moderate）、77.38（Hard）を達成し、従来法を上回る。
• ステージ-2の標準座標リファインメントは局所化されたプール点とステージ-1のグローバル特徴の両方を活用し、ボックス局在と信頼度推定を改善。
• KITTI検証分割の hard 難易度の車カテゴリで前方法より顕著な8.28 APの改善を報告。