[論文レビュー] MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection

Yang Jiao, Zequn Jie+4 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

MSMDFusionは、LiDARとカメラデータを融合するためのマルチスケール3Dオブジェクト検出フレームワークを提案する。マルチデプスアンプロジェクション（MDU）を用いて深さに敏感な意味的特徴を持つ高品質な仮想点を生成し、ゲート付きモダリティ・アウェアコンボリューション（GMA-Conv）を用いて細分化された、制御可能なクロスマodal特徴融合を実現する。テスト時増強やアンサンブルを用いない状態で、nuScenesで71.5%のmAPおよび74.0%のNDSを達成し、最先端の性能を実現した。

ABSTRACT

Fusing LiDAR and camera information is essential for achieving accurate and reliable 3D object detection in autonomous driving systems. This is challenging due to the difficulty of combining multi-granularity geometric and semantic features from two drastically different modalities. Recent approaches aim at exploring the semantic densities of camera features through lifting points in 2D camera images (referred to as seeds) into 3D space, and then incorporate 2D semantics via cross-modal interaction or fusion techniques. However, depth information is under-investigated in these approaches when lifting points into 3D space, thus 2D semantics can not be reliably fused with 3D points. Moreover, their multi-modal fusion strategy, which is implemented as concatenation or attention, either can not effectively fuse 2D and 3D information or is unable to perform fine-grained interactions in the voxel space. To this end, we propose a novel framework with better utilization of the depth information and fine-grained cross-modal interaction between LiDAR and camera, which consists of two important components. First, a Multi-Depth Unprojection (MDU) method with depth-aware designs is used to enhance the depth quality of the lifted points at each interaction level. Second, a Gated Modality-Aware Convolution (GMA-Conv) block is applied to modulate voxels involved with the camera modality in a fine-grained manner and then aggregate multi-modal features into a unified space. Together they provide the detection head with more comprehensive features from LiDAR and camera. On the nuScenes test benchmark, our proposed method, abbreviated as MSMDFusion, achieves state-of-the-art 3D object detection results with 71.5% mAP and 74.0% NDS, and strong tracking results with 74.0% AMOTA without using test-time-augmentation and ensemble techniques. The code is available at https://github.com/SxJyJay/MSMDFusion.

研究の動機と目的

• 既存のLiDAR-カメラ統合手法における深さ情報の未利用状態を是正すること。
• 1つの2Dシードに対して複数の深さ推定値を活用することで、2Dカメラシードから生成される仮想点の幾何的正確性と意味的豊かさを向上させること。
• ボクセル空間におけるLiDAR点とカメラ由来の仮想点の間で、細分化された、制御可能なクロスマodal相互作用を可能にすること。
• 複数スケールの特徴集約と、異なる粒度レベルでの有効な統合を通じて、優れた検出性能を達成すること。
• 単純な連結やアテンションベースの統合の限界を克服し、ボクセル空間にモジュレートされたゲート付きの統合メカニズムを導入すること。

提案手法

• 各2Dシードの局所的近傍から複数の深さ値を取得するマルチデプスアンプロジェクション（MDU）を提案し、より正確で深さに敏感な3D空間における仮想点を生成する。
• カメラ特徴と複数の深さ推定値を統合することで、仮想点の意味的整合性と耐障害性を向上させる深さに敏感な特徴を統合する。
• 実際のLiDAR点の文脈に基づいてカメラモダリティからの特徴を適応的にモodulateする学習可能なモジュールであるゲート付きモダリティ・アウェアコンボリューション（GMA-Conv）を設計し、ボクセル空間における細分化された、アテンションに類似した統合を実現する。
• MDUおよびGMA-Convモジュールを複数の特徴スケールに適用し、マルチモーダル特徴の段階的精錬とマルチグレインの統合を可能にする。
• 異なるレベルからの表現を統合するためのマルチスケール特徴集約戦略を採用し、特徴の完全性と検出の耐障害性を向上させる。
• テスト時増強やアンサンブル技術に依存しない、標準的な3D検出損失を用いたエンドツーエンドのフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つの2Dシードに対して複数の深さ推定値を活用することで、3D空間における仮想点の幾何的正確性と意味的質が顕著に向上するか？
• RQ2 ボクセル空間における細分化された、ゲート付きの統合メカニズムは、単純な連結やアテンションベースの統合を上回る性能を発揮するか？
• RQ3 異なる粒度レベルの特徴の粒度に応じたマルチスケール相互作用は、最終的な検出性能にどのように影響を与えるか？
• RQ4 検出精度とノイズ制御の観点から、1シードあたりの深さ数と1インスタンスあたりのシード数の最適なトレードオフは何か？
• RQ5 深さに敏感なマルチスケール統合フレームワークは、テスト時増強やモデルアンサンブルを用いずに最先端の性能を達成できるか？

主な発見

• MSMDFusionは、テストスプリットのnuScenesで71.5%のmAPおよび74.0%のNDSを達成し、テスト時増強やアンサンブル手法を用いない状態で、新たな最先端の性能を樹立した。
• アブレーションスタディの結果、1シードあたりの深さ数（K）を1から6に増加させると、mAPが1.07%、NDSが0.70%向上し、K=6で最適な性能が得られた。
• Kが10に増加すると、ノイズの増加により性能が低下し、多すぎる深さ推定値が仮想点の品質を劣化させることを示した。
• 1インスタンスあたりのシード数（N）を50から200に増加させても性能は向上せず、特に単一深さアンプロジェクションと組み合わせると悪化する傾向があった。
• マルチスケール相互作用モデルは、単一スケールベースラインを約2%のmAPおよび約1%のNDS向上で上回り、マルチグレインの特徴統合の利点を示した。
• MDUモジュールは、K=6のとき、実際の3D点のリコールレートが85.6%に達し、平均距離誤差は0.18mであった。これは、信頼性の高い仮想点生成を確認するものである。