[論文レビュー] FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection

Chaokang Jiang, Guangming Wang+3 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

FFPA-Net は、LiDAR ポイントクラウドの特徴抽出を高速化するプロジェクション認識畳み込みを用いた効率的な 3D 物体検出ネットワークを提案する。また、LiDAR と RGB データ間の高精度でリアルタイムなクロスモーダル特徴融合を実現する、2 つのプラグアンドプレイ型融合モジュール（LiCamFuse および BiLiCamFuse）を導入している。本手法は、RTX 2080Ti で 59.40 ms の推論時間で KITTI データセット上で最先端の 3D 物体検出性能を達成した。

ABSTRACT

Promising complementarity exists between the texture features of color images and the geometric information of LiDAR point clouds. However, there still present many challenges for efficient and robust feature fusion in the field of 3D object detection. In this paper, first, unstructured 3D point clouds are filled in the 2D plane and 3D point cloud features are extracted faster using projection-aware convolution layers. Further, the corresponding indexes between different sensor signals are established in advance in the data preprocessing, which enables faster cross-modal feature fusion. To address LiDAR points and image pixels misalignment problems, two new plug-and-play fusion modules, LiCamFuse and BiLiCamFuse, are proposed. In LiCamFuse, soft query weights with perceiving the Euclidean distance of bimodal features are proposed. In BiLiCamFuse, the fusion module with dual attention is proposed to deeply correlate the geometric and textural features of the scene. The quantitative results on the KITTI dataset demonstrate that the proposed method achieves better feature-level fusion. In addition, the proposed network shows a shorter running time compared to existing methods.

研究の動機と目的

• 3D 物体検出における疎な LiDAR ポイントクラウドと密度の高い RGB イメージ間の非効率的で不正確な特徴融合の課題に対処すること。
• 点群処理における KNN や最遠点抽出の計算コストを削減し、幾何的情報を保持したまま 3D 座標を 2D 平面に投影することにより、処理を高速化すること。
• LiDAR ポイントと画像ピクセル間のクロスモーダル不一致を、学習された距離に依存する融合重みと双方向特徴相互作用によって軽減すること。
• アーキテクチャの大幅な見直しを伴わずに、効率的で高精度な融合を実現するプラグアンドプレイ型モジュールの設計。
• 標準ベンチマーク（例：KITTI）で、推論速度を維持または向上させながら、検出精度を高めること。

提案手法

• 3D LiDAR 座標を 2D 平面に投影することで、プロジェクション認識畳み込み層を用いた高速で構造化された特徴抽出を可能にする。
• LiDAR ポイントと画像ピクセル間の対応インデックスを事前計算・保存することで、融合処理中の高速な照合を実現する。
• LiCamFuse を導入し、二モーダル特徴間のユークリッド距離に基づくソフトクエリ重みを計算することで、特徴の整合性を向上させる。
• BiLiCamFuse を提案し、LiDAR ポイントが周囲のピクセル特徴をクエリし、逆にピクセルが LiDAR ポイントをクエリする仕組みにより、双方向特徴相互作用を可能にする。
• 投影された 2D マップ上で局所的な KNN 操作を用いることで、局所的な幾何的・テクスチャ的特徴を効率的に抽出し、計算コストを低減する。
• 特徴学習と検出の共同最適化を可能にするために、融合モジュールをエンドツーエンドの 3D 検出ネットワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 プロジェクション認識特徴学習は、LiDAR ポイントクラウドの幾何的忠実性を保ちつつ、3D 物体検出における計算コストを低減できるか？
• RQ2 特徴融合の過程で、LiDAR ポイントと画像ピクセル間のクロスモーダル不一致をどのように効果的に軽減できるか？
• RQ3 LiCamFuse や BiLiCamFuse などのプラグアンドプレイ型融合モジュールは、推論速度を損なわずに検出精度をどの程度向上できるか？
• RQ4 2D LiDAR 投影における最適な分解能は何か？特徴の完全性とゼロ点密度のバランスをとるには？
• RQ5 標準ベンチマーク上での精度、速度、耐障害性の観点から、本手法は既存手法と比べてどのように優れているか？

主な発見

• FFPA-Net は、KITTI 検証セットのエイジリーサンプルで 91.93% の 3D 検出 mAP（IoU=0.7）を達成し、PointRCNN や EPNet を上回った。
• NVIDIA RTX 2080Ti GPU 上で 1 回の推論がたった 59.40 ms で実行可能であり、多くの LiDAR 側のみの手法やマルチモーダルベースラインよりも顕著に高速であった。
• BiLiCamFuse はエイジリーサンプルで最高の mAP 91.93% を達成し、深く双方向的な特徴融合の有効性を示した。
• LiCamFuse は、ユークリッド距離をソフトクエリ重みに組み込むことで、モダリティ間の不一致を低減し、融合精度を向上させた。
• 最適な投影分解能は 40×275 であると特定され、特徴保持と計算効率のバランスが取れていた。
• アブレーションスタディの結果、LiCamFuse と BiLiCamFuse の両方が性能向上に寄与していることが確認され、特に BiLiCamFuse がわずかな速度コストで最も優れた全体的な結果をもたらした。