[論文レビュー] mmFUSION: Multimodal Fusion for 3D Objects Detection

Javed Ahmad, Alessio Del Bue|arXiv (Cornell University)|Nov 7, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文は、画像とLiDAR特徴量を共通の低解像度3Dボリュームに変換した後、クロスモダリティおよびマルチモダリティアテンション機構を用いて統合する、3Dオブジェクト検出のための新規な中間レベルのマルチモーダル統合フレームワークmmFUSIONを提案する。この手法は、KITTIおよびNuScenesで、領域提案や初期特徴量のアライメントに依存しないまま、エアリー融合、レイト融合、および2段階融合のベースラインを上回る性能を発揮し、最先端の性能を達成する。

ABSTRACT

Multi-sensor fusion is essential for accurate 3D object detection in self-driving systems. Camera and LiDAR are the most commonly used sensors, and usually, their fusion happens at the early or late stages of 3D detectors with the help of regions of interest (RoIs). On the other hand, fusion at the intermediate level is more adaptive because it does not need RoIs from modalities but is complex as the features of both modalities are presented from different points of view. In this paper, we propose a new intermediate-level multi-modal fusion (mmFUSION) approach to overcome these challenges. First, the mmFUSION uses separate encoders for each modality to compute features at a desired lower space volume. Second, these features are fused through cross-modality and multi-modality attention mechanisms proposed in mmFUSION. The mmFUSION framework preserves multi-modal information and learns to complement modalities' deficiencies through attention weights. The strong multi-modal features from the mmFUSION framework are fed to a simple 3D detection head for 3D predictions. We evaluate mmFUSION on the KITTI and NuScenes dataset where it performs better than available early, intermediate, late, and even two-stage based fusion schemes. The code with the mmdetection3D project plugin will be publicly available soon.

研究の動機と目的

• エアリー融合とレイト融合の限界を克服し、より適応的な中間レベルの統合戦略を提案すること。
• 異なるモダリティを共通の3D特徴空間に変換することで、マルチモーダル統合における特徴の不一致と情報損失を克服すること。
• 領域の注目（RoI）提案や事前学習済みの単一モダリティ検出器に依存せずに、カメラとLiDARからの補完的特徴を共同で学習できること。
• 両モダリティからの特徴量を動的に重み付け・強化するアテンションベースの統合メカニズムを設計し、検出精度を向上させること。
• 今後のマルチモーダル3D検出研究のための強力な、1段階的でエンドツーエンドで学習可能な特徴レベル統合ベースラインを確立すること。

提案手法

• 高次元特徴量を低解像度の3Dボリュームに変換するため、画像およびLiDARエンコーダーを別々に使用し、空間的および意味的情報を保持する。
• 3D畳み込み層とシグモイドゲーティングを用いて、クロスモダリティアテンションを適用し、画像およびLiDARモダリティの特徴量をアライメントおよび重み付けする。
• 残差ブロックとアテンション重み付けを用いてモダリティ固有の重要度を学習することで、マルチモダリティアテンションが統合特徴量をさらに精緻化する。
• 統合特徴量は、標準的な3D検出ヘッドに適した最終的な共同表現にデコードされる。
• 3D検出ヘッドを用いてボックス回帰と分類のため、ネットワーク全体をエンドツーエンドで学習する。
• RoIや提案に依存しないため、より柔軟で適応的な統合パイプラインを実現する。

Figure 1 : Different fusion schemes in 3D detection pipeline. (a) Early Fusion: Low-level multi-modal features are associated at an early stage with the help of RoIs before predicting final 3D proposals. (b) Late Fusion: Proposals from a particular modality are predicted first, and then high-level f

実験結果

リサーチクエスチョン

• RQ1 領域提案に依存せずに、中間レベルの統合がエアリー融合やレイト統合を上回る性能を発揮できるか？
• RQ2 クロスモダリティおよびマルチモダリティアテンション機構は、共通の3D空間におけるカメラとLiDARの特徴量を効果的にアライメントおよび強化できるか？
• RQ3 パフォーマンスと計算コストのバランスを最適化するための、最適な特徴ボリュームサイズとネットワーク構成は何か？
• RQ4 1段階的でエンドツーエンドで学習可能な統合フレームワークは、KITTIやNuScenesといった標準ベンチマークで最先端の性能を達成できるか？
• RQ5 本手法の統合メカニズムは、LiDAR点が疎な領域やカメラ特徴量が弱いオブジェクトをどのように処理するか？

主な発見

• mmFUSIONはKITTIデータセットで、既存のエアリー融合、中間レベル融合、レイト融合、2段階融合のすべての手法を上回る最先端の性能を達成する。
• NuScenesデータセットでは、次善のベースラインと比較して3.5%高いmAPを達成し、優れた一般化性能を示す。
• 176×200×5の特徴ボリュームを有する基本構成のmmFUSIONは、パフォーマンスと計算コストの最適なトレードオフを達成する。
• アブレーションスタディの結果、特徴ボリュームサイズの増大はmAPを向上させるが、ある閾値を超えると収束効果が顕著になる。
• 定性的な可視化結果から、mmFUSIONはLiDAR点が存在しない領域においてもカメラの意味的特徴を活用してオブジェクトを効果的に局所化していることが示された。
• フレームワークは、アノテーションに存在しないオブジェクトをも検出できており、センサーノイズや隠蔽に強いことを示している。

Figure 2 : The framework for 3D object detection with mmFUSION. The Image and LiDAR point clouds features are extracted using their respective backbones and these features are transformed to respective defined 3D volumes as shown in part Part A . In Part B : the Img-Encoder and LiDAR-Encoder transfo