[論文レビュー] Cross-Modality 3D Object Detection

Ming Zhu, Chao Ma+2 more|arXiv (Cornell University)|Aug 16, 2020

Robotics and Sensor-Based Localization参考文献 31被引用数 4

ひとこと要約

本稿では、二段階のマルチモーダル3次元物体検出フレームワークを提案する。このフレームワークは、両眼画像と生のLiDAR点群を融合させることで、検出精度を向上させる。ポイントワイズ特徴融合、2D-3Dカップリング損失、および疑似LiDAR点の増強を採用することで、スパースな点群表現を強化し、KITTIデータセットにおいて、特に遠方および隠蔽された物体に対して最先端の性能を達成する。

ABSTRACT

In this paper, we focus on exploring the fusion of images and point clouds for 3D object detection in view of the complementary nature of the two modalities, i.e., images possess more semantic information while point clouds specialize in distance sensing. To this end, we present a novel two-stage multi-modal fusion network for 3D object detection, taking both binocular images and raw point clouds as input. The whole architecture facilitates two-stage fusion. The first stage aims at producing 3D proposals through sparse point-wise feature fusion. Within the first stage, we further exploit a joint anchor mechanism that enables the network to utilize 2D-3D classification and regression simultaneously for better proposal generation. The second stage works on the 2D and 3D proposal regions and fuses their dense features. In addition, we propose to use pseudo LiDAR points from stereo matching as a data augmentation method to densify the LiDAR points, as we observe that objects missed by the detection network mostly have too few points especially for far-away objects. Our experiments on the KITTI dataset show that the proposed multi-stage fusion helps the network to learn better representations.

研究の動機と目的

• 3次元物体検出におけるスパースかつ不均一に分布するLiDAR点群の課題に対処する。
• 画像（豊富な意味的特徴）とLiDAR（正確な距離情報）の相補的利点を活用し、3次元位置推定を向上させる。
• 複数の段階でマルチモーダル特徴を統合することで、単一モーダル検出の限界を克服する。
• 点群がスパースになる遠方および隠蔽物体の検出性能を向上させる。
• 疑似LiDAR点を用いたデータ増強戦略を開発し、スパースな真値点群を密度化する。

提案手法

• ボクセル化や投影を経ずに、生のLiDAR点群から直接3次元表現を学習するためにPointNet++を活用する。
• 両眼画像から判別的な2次元特徴マップを抽出するため、FPNを組み合わせた変更版ResNet-50を画像バックボーンとして採用する。
• 2次元および3次元分類・回帰を同時に実行できる共同アンカー機構を導入し、3次元プロポーザル生成を改善する。
• 2D検出制約と3次元プロポーザルを結びつけるための2D-3D再投影損失を適用し、クロスモーダルな監視によりプロポーザル品質を向上させる。
• プロポーザル領域内での高密度な2次元および3次元特徴を統合するRoIワイズ特徴融合を実施し、頑健な表現学習を実現する。
• ステレオマッチングから疑似LiDAR点群を生成し、実際の点群に適応的にクロップして追加することで、データ増強として利用する。

実験結果

リサーチクエスチョン

• RQ1 2段階の統合フレームワークは、2次元画像の意味的特徴と3次元LiDAR幾何学的特徴を効果的に統合し、3次元物体検出を向上させることができるか？
• RQ2 2次元と3次元予測の整合性を強制する2D-3Dカップリング損失は、プロポーザル品質および最終的な検出精度にどのように影響するか？
• RQ3 両眼画像から生成された疑似LiDAR点は、遠方物体検出における点群のスパarsity問題をどの程度緩和できるか？
• RQ4 マルチモーダル特徴をRoIワイズに統合することは、早期統合や後期統合と比較して、より頑健で正確な3次元バウンディングボックス予測をもたらすか？
• RQ5 提案手法は、KITTIなどの標準ベンチマークにおいて、既存の単一モーダルまたは単一段階の統合手法を上回る性能を示せるか？

主な発見

• 提案手法はKITTI 3次元物体検出ベンチマークで最先端の性能を達成し、車両のmildセットにおいて3D APが86.80%を記録した。
• 2D-3Dカップリング損失により、誤検出（IoU=0）の数が減少し、3次元プロポーザルと2次元検出の整合性が向上した。
• 再投影損失を適用した後、すべての難易度レベルでプロポーザルリコールが著しく向上し、特にハード例で顕著だった。
• 疑似LiDAR点を用いた統合により、ハードおよびミドルクラスの性能が向上し、GTクロップド疑似点を用いた場合、ハードカークラスで2.09%のAP上昇を達成した。
• 疑似LiDAR増強による点群密度の向上のおかげで、遠方および隠蔽物体の検出に特に優れた性能を示した。
• アブレーションスタディにより、共同アンカー機構と疑似LiDAR増強の両方が性能向上に寄与していることが確認され、特にスパース領域では後者が最も効果的であった。