[論文レビュー] From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network

Shaoshuai Shi, Zhe Wang+3 more|arXiv (Cornell University)|Jul 8, 2019

Advanced Neural Network Applications参考文献 63被引用数 99

ひとこと要約

Part-A2 Netを導入：LiDAR点群のための2段階の3D物体検出器で、物体内パーツ位置とRoI対応プーリングを活用して3D検出を改善し、点群データのみでKITTIにおける最先端の結果を達成します。

ABSTRACT

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-$A^2$ net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-$A^2$ net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

研究の動機と目的

• 3D地上真実ボックスから派生する自由な物体内パーツ位置監視を活用して、識別性の高い3D点特徴を学習する。
• パーツ情報を用いて点群から3Dボックスを提案・精練する2段階検出器を開発する。
• RoI対応点群プーリングを導入して、正確なボックス精練のために幾何学的情報を preserves する。

提案手法

• パーツ認識段階（Stage-I）とパーツ統合段階（Stage-II）を備える2段階フレームワーク。
• Stage-Iは前景セグメンテーションと物体内パーツ位置を学習し、アンカーなしまたはアンカー型戦略で3D提案を生成する。
• Stage-IIはRoI対応プーリングを用いてパーツ特徴を集約し、ボックスのスコアリングと精練には疎結合畳み込みを用いる。
• 物体内パーツ位置は、地上真実ボックス内の前景ポイントの相対3D位置として定義され、対応する損失で学習される。
• アンカーなしの提案生成は、中心回帰をビンベースで行い、残差補正でオブジェクトの中心と向きを予測する。
• アンカーありの提案生成は、鳥瞰ビュー特徴上のRegion Proposal Networkと事前定義された3Dアンカー、および残差ベースの回帰損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 3次元境界ボックスの自由な物体内パーツ位置情報を活用して、点群からの3D物体検出をどのように改善できるか。
• RQ2 RoI対応プーリングを備えた2段階検出器は、LiDARデータのみを用いた場合に単一段階および他の2段階手法を上回ることができるか。
• RQ3 点群ベースの検出における3D提案生成の効果的な戦略（アンカーなし vs アンカーあり）は何か。
• RQ4 微分可能なRoI対応プーリング演算は、ボックススコアリングと局在化精練を改善するか。
• RQ5 Part-A2ネットはKITTIのような標準ベンチマークで既存手法と比較してどうか。

主な発見

• Part-A2 Netは、LiDAR点群データのみを使用してKITTIで最先端の3D検出性能を達成する。
• パーツ認識段階は同時に物体内パーツ位置を予測し、3D提案を生成する。
• RoI対応プーリングを備えたパーツ統合段階は、学習したパーツ特徴を用いて提案のスコアリングと局在化精練を改善する。
• 提案生成の二つの戦略（アンカーなしとアンカーあり）は、さまざまなデプロイ要件に対応：アンカーなしはメモリ効率が良く、アンカーありはリコールが高い。
• このフレームワークは2019年8月15日現在KITTIで14 FPSで動作し、当時公表されていた手法を上回っている。