[論文レビュー] PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module

Liang Xie, Chao Xiang+5 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Neural Network Applications参考文献 26被引用数 9

ひとこと要約

本論文は、RGB画像とLiDAR点群特徴を、3次元点に直接連続畳み込みを適用する新しいポイントベースの注意型連続畳み込み融合（PACF）モジュールにより統合する、多センサ型3次元物体検出器PI-RCNNを提案する。この手法は、ポイントワイズのプーリングと注意型集約を用いる。本手法はKITTI 3次元検出ベンチマークにおいて最先端の性能を達成し、3次元APにおいて先行手法を上回った。

ABSTRACT

LIDAR point clouds and RGB-images are both extremely essential for 3D object detection. So many state-of-the-art 3D detection algorithms dedicate in fusing these two types of data effectively. However, their fusion methods based on Birds Eye View (BEV) or voxel format are not accurate. In this paper, we propose a novel fusion approach named Point-based Attentive Cont-conv Fusion(PACF) module, which fuses multi-sensor features directly on 3D points. Except for continuous convolution, we additionally add a Point-Pooling and an Attentive Aggregation to make the fused features more expressive. Moreover, based on the PACF module, we propose a 3D multi-sensor multi-task network called Pointcloud-Image RCNN(PI-RCNN as brief), which handles the image segmentation and 3D object detection tasks. PI-RCNN employs a segmentation sub-network to extract full-resolution semantic feature maps from images and then fuses the multi-sensor features via powerful PACF module. Beneficial from the effectiveness of the PACF module and the expressive semantic features from the segmentation module, PI-RCNN can improve much in 3D object detection. We demonstrate the effectiveness of the PACF module and PI-RCNN on the KITTI 3D Detection benchmark, and our method can achieve state-of-the-art on the metric of 3D AP.

研究の動機と目的

• ビューアビューやボクセルベースの統合に依存する従来の3次元物体検出器の限界を解決する。これらは量子化と視覚的不一致による精度損失を抱える。
• RGB画像に由来する豊富な意味的特徴を活用することで3次元物体検出を向上させ、LiDAR点群のスパarsityと意味的欠如を補う。
• 2次元表現に変換されたものではなく、3次元点そのものに直接作用する統合メカニズムを設計し、空間的正確性を保持するとともに、より良い特徴統合を実現する。
• セグメンテーションサブネットワークと3次元検出サブネットワークを同時に学習させることで、多タスク学習を活用し、特徴表現力を向上させる。

提案手法

• LiDARとRGB入力の特徴を、3次元点に直接連続畳み込みを適用する新しいポイントベースの注意型連続畳み込み融合（PACF）モジュールにより統合する。
• 隣接する点からの特徴集約を可能にするポイントプーリングを導入し、スパースな点群分布に対する耐性を高める。
• 異なるモodalからの特徴の重要度を学習する注意型集約機構を適用し、統合の表現力を向上させる。
• PI-RCNNを2ストリームネットワークとして設計する。1本目のストリームは、フル解像度のセマンティックマップを生成する軽量な完全畳み込みセグメンテーションネットワークによりRGB画像を処理する。もう1本のストリームは、生のLiDAR点群を処理し、3次元プロポーザルを生成する。
• 検出ネットワークの中間段階で、2つのストリームからの特徴をPACFモジュールを用いて統合し、文脈に配慮した特徴学習を可能にする。
• 3次元物体アノテーションのみを用いて、ネットワーク全体をエンドツーエンドで学習する。セグメンテーションサブネットワークは、セマンティックセグメンテーションデータを用いた事前学習が可能であり、特徴品質の向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 BEVベースやボクセルベースの統合手法と比較して、3次元点上で直接マルチセンサ特徴を統合することで、3次元物体検出の精度が向上するか？
• RQ2 マルチタスクヘッドとしての画像セマンティックセグメンテーションを統合することで、ポイントベースのネットワークにおける3次元物体検出性能が向上するか？
• RQ3 検出ネットワーク内の統合位置（早期 vs. 中間段階）の選択が、検出性能に与える影響は何か？
• RQ4 セグメンテーションネットワークの異なる特徴抽出層の選択が、最終的な3次元検出精度に与える影響は何か？
• RQ5 3次元物体アノテーションのみが利用可能な状況で、セグメンテーションサブネットワークをセマンティックセグメンテーションデータで事前学習することは効果的か？

主な発見

• PACFモジュールは、ポイントワイズの連続畳み込みと注意メカニズムを組み合わせることで、特徴統合を著しく向上させ、標準的なBEVベースの統合手法を上回った。
• PI-RCNNはKITTI 3次元検出ベンチマークにおいて、バリデーションスプリットおよびテストスプリットの両方で、先行手法を上回る最先端の3次元平均精度（AP）を達成した。
• アブレーションスタディの結果、連続畳み込みの受容 field としてK=3が最適なサイズであることが判明した。K値が大きくなると、遠くの点からのノイズが混入する。
• PACFにおけるポイントプーリングと注意型集約の追加により、明確な性能向上が確認され、これらが特徴精錬に有効であることが裏付けられた。
• 検出ネットワークの中間段階での特徴統合（PI-RCNN V1）は、早期統合（PI-RCNN V2）よりも優れた結果を示し、中間レベルの特徴が統合に適していることを示唆した。
• サブネットワークにマルチクラスセグメンテーションの監視を適用した場合、単一クラス学習よりも性能が向上した。これは、背景やシーン理解のためのより豊かな文脈的事前知識が得られるためである。