[論文レビュー] FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection

Chunyong Hu, Hang Zheng+12 more|arXiv (Cornell University)|Sep 11, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

FusionFormerは、2次元画像特徴量と3次元ボクセル特徴量を直接統合するエンドツーエンドのマルチセンサ融合Transformerを提案する。ビューアブル・エンド・ビュー（BEV）変換を明示的に行わないように、均一なサンプリング戦略を用いることで、可変アテンションとリーマンス構造を活用し、耐性性を高めている。テスト時増強を用いない状態で、nuScenesベンチマークにおいて72.6%のmAPと75.1%のNDSを達成し、最先端の性能を発揮している。

ABSTRACT

Multi-sensor modal fusion has demonstrated strong advantages in 3D object detection tasks. However, existing methods that fuse multi-modal features require transforming features into the bird's eye view space and may lose certain information on Z-axis, thus leading to inferior performance. To this end, we propose a novel end-to-end multi-modal fusion transformer-based framework, dubbed FusionFormer, that incorporates deformable attention and residual structures within the fusion encoding module. Specifically, by developing a uniform sampling strategy, our method can easily sample from 2D image and 3D voxel features spontaneously, thus exploiting flexible adaptability and avoiding explicit transformation to the bird's eye view space during the feature concatenation process. We further implement a residual structure in our feature encoder to ensure the model's robustness in case of missing an input modality. Through extensive experiments on a popular autonomous driving benchmark dataset, nuScenes, our method achieves state-of-the-art single model performance of 72.6% mAP and 75.1% NDS in the 3D object detection task without test time augmentation.

研究の動機と目的

• 既存のマルチモodal統合手法における3次元ボクセル特徴量をBEV空間に明示的に変換することによる性能低下を是正すること。
• 単眼深度推定やZ軸圧縮に依存せずに、2次元画像特徴量と3次元ポイントクラウド特徴量の柔軟で直接的な統合を可能にすること。
• 3次元ボクセル特徴量を深度リファレンスとして用いることで、画像特徴量のBEV空間内での変換精度を向上させること。
• 欠損したモダリティ入力に対しても、リーマンス学習によりモデルの耐性性を高めること。
• プラグアンドプレイ型の時間的統合モジュールを統合し、履歴フレームの統合による時間的一致性を向上させること。

提案手法

• 2次元画像特徴量と3次元ボクセル特徴量の両方を同時にサンプリングできる均一なサンプリング戦略を導入し、明示的なBEV変換を回避する。
• 可変アテンション機構を用いて、3次元ボクセルからの深度リファレンスを活用し、BEVクエリが画像特徴量とポイントクラウド特徴量と相互作用できるようにする。
• モダリティ欠損時の推論においても性能を維持できるように、統合エンコーダにリーマンス構造を組み込む。
• 過去のフレームからのBEV特徴量を統合することで時間的一致性を向上させる時間的統合モジュールを設計する。
• オブジェクトクエリの最適化と検出ヘッド予測のために、マルチヘッドアテンションベースのトランスフォーマデコーダを用いる。
• LiDAR特徴量を単眼深度推定出力に置き換えることで、カメラオンリーモードの3次元検出を可能にし、手法の柔軟性を示す。

Figure 1: Comparison between state-of-the-art methods and our FusionFormer. (a) In BEVFusion-based methods, the camera features and points features are transformed into BEV space and fused with concatenation. (b) In CMT, the points voxel features are first compressed into BEV features, then are enco

実験結果

リサーチクエスチョン

• RQ1 2次元画像特徴量と3次元ボクセル特徴量を、それぞれの元の形式のまま直接統合することで、BEV変換に基づく統合手法を上回る性能が得られるか？
• RQ2 3次元ボクセル特徴量を深度リファレンスとして用いることで、BEV空間内での画像特徴量変換の正確性が向上するか？
• RQ3 統一されたサンプリング戦略が、2次元と3次元という異種モダリティを1つの統合モジュールで効果的に処理できるか？
• RQ4 統合エンコーダにおけるリーマンス学習が、欠損したモダリティ入力に対する耐性性に与える影響は何か？
• RQ5 履歴BEV特徴量の時間的統合が、検出の一貫性と性能にどの程度寄与するか？

主な発見

• FusionFormerは、テスト時増強を用いない1つのモデルで、nuScenesベンチマークにおいて72.6%のmAPと75.1%のNDSを達成し、最先端の性能を発揮した。
• LiDAR入力としてBEV特徴量ではなくボクセル特徴量を用いることで、mAPが1.4ポイント向上し、mATEが1.3ポイント低下した。これは、3次元構造情報のより良い保持を示している。
• 提案された統合モジュールは、単純な加算や連結手法をそれぞれ3.5 mAPと2.8 NDS上回り、優れた特徴統合能力を示している。
• モダリティドロップアウトの状況下でも強力な性能を維持し、画像データが欠落した場合に65.2%のmAPと69.8%のNDSを達成し、LiDARデータが欠落した場合に64.1%のmAPと68.5%のNDSを達成した。これにより、耐性性が確認された。
• 可視化結果から、FusionFormerはBEVFormerと比較して、特に遠方またはスパarsなオブジェクトに対してより焦点を合わせたBEV特徴量を生成している。
• 単眼深度推定を用いたカメラオンリーバリエーションのFusionFormerは、68.9%のmAPと71.3%のNDSを達成し、カメラ入力のみで強力な性能を発揮した。

Figure 2: (a) The framework of the FusionFormer. The LiDAR point cloud and multi-view images are processed separately in their respective backbone networks to extract voxel features and image features. These features are then inputted into a multi-modal fusion encoder (MMFE) to generate the fused BE