[論文レビュー] 3D IoU-Net: IoU Guided 3D Object Detector for Point Clouds

Jiale Li, Shujie Luo+5 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 41被引用数 31

ひとこと要約

3D IoU-Net を導入する。Attentive Corner Aggregation と Corner Geometry Encoding を用いて IoU に敏感な特徴を学習する2段階の3D 検出器と推論時の IoU アライメントを提供。

ABSTRACT

Most existing point cloud based 3D object detectors focus on the tasks of classification and box regression. However, another bottleneck in this area is achieving an accurate detection confidence for the Non-Maximum Suppression (NMS) post-processing. In this paper, we add a 3D IoU prediction branch to the regular classification and regression branches. The predicted IoU is used as the detection confidence for NMS. In order to obtain a more accurate IoU prediction, we propose a 3D IoU-Net with IoU sensitive feature learning and an IoU alignment operation. To obtain a perspective-invariant prediction head, we propose an Attentive Corner Aggregation (ACA) module by aggregating a local point cloud feature from each perspective of eight corners and adaptively weighting the contribution of each perspective with different attentions. We propose a Corner Geometry Encoding (CGE) module for geometry information embedding. To the best of our knowledge, this is the first time geometric embedding information has been introduced in proposal feature learning. These two feature parts are then adaptively fused by a multi-layer perceptron (MLP) network as our IoU sensitive feature. The IoU alignment operation is introduced to resolve the mismatching between the bounding box regression head and IoU prediction, thereby further enhancing the accuracy of IoU prediction. The experimental results on the KITTI car detection benchmark show that 3D IoU-Net with IoU perception achieves state-of-the-art performance.

研究の動機と目的

• LiDAR 点群における3D バウンディングボックスの IoU ベースの信頼度を正確に見積る必要性を動機づける。
• 分類ベースの信頼度を上回るIoU中心の検出フレームワークの開発。
• 視点による部分的可視性から IoU に敏感な特徴を学習するモジュールの導入。
• 追加のトレーニングなしに訓練と推論のずれを解決する IoU アライメント手順の提案。

提案手法

• 提案生成のための PointNet++ バックボーンを用いた2段階の3D検出。
• Attentive Corner Aggregation (ACA) はコーナー視点特徴を視点チャンネル注意で統合し IoU に敏感な表現を作る。
• Corner Geometry Encoding (CGE) は IoU 予測へ絶対的なコーナー幾何を注入する。
• IoU アライメント: 補正されたボックスに対して二段の推論で IoU を再評価し、整合した IoU スコアを得る。
• 3つの予測ヘッドは IoU に敏感な特徴を共有する: 分類、BBox回帰、IoU 知覚。
• 補助的なコーナーロスと IoU ロス が IoU 予測器の訓練を指示する。

実験結果

リサーチクエスチョン

• RQ1 IoU ベースの検出信頼度は KITTI で従来の分類信頼度より3D NMSと全体の AP を改善できるか？
• RQ2 ACA と CGE は視点不変の IoU 特徴を提供し IoU 予測を改善するか？
• RQ3 CGE による境界ボックス幾何の組み込みは IoU 知覚を改善するか？
• RQ4 推論時の IoU アライメントは追加トレーニングなしで IoU割り当てのずれを緩和するか？

主な発見

手法	3D AP Easy	3D AP Moderate	3D AP Hard	BEV AP Easy	BEV AP Moderate	BEV AP Hard
3D IoU-Net (Ours)	87.96	79.03	72.78	94.76	88.38	81.93

• 3D IoU-Net はLiDARベース手法の中でKITTI Carベンチマークにおける最先端の3D検出性能を達成。
• IoU-aware predictions with ACA and CGE yield higher 3D AP than baselines relying on classification confidence.
• IoU alignment at inference further improves IoU prediction accuracy without additional training.
• On KITTI test set, 3D IoU-Net attains 87.96% Easy, 79.03% Moderate, 72.78% Hard 3D AP and 94.76% Easy, 88.38% Moderate, 81.93% Hard BEV AP.
• Ablations show significant mAP gains from aligning IoU predictions and from perspective-aware ACA features.