[論文レビュー] RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network

Zhiwei Lin, Zhe Liu+3 more|arXiv (Cornell University)|Sep 8, 2024

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本稿では、特殊なレーダー特徴抽出器であるRadarBEVNetとスパース融合を備えたクロスアテンション統合モジュール（CAMF）を備えた、レーダーとカメラの融合による3次元認識フレームワーク、RCBEVDet++を提案する。このフレームワークは、マルチビュー・カメラベースの3次元検出を向上させることを目的としており、テスト時拡張やアンサンブルを用いないViT-Lバックボーンを用いた場合、nuScenesで72.73 NDSおよび67.34 mAPの最先端性能を達成する。

ABSTRACT

Perceiving the surrounding environment is a fundamental task in autonomous driving. To obtain highly accurate perception results, modern autonomous driving systems typically employ multi-modal sensors to collect comprehensive environmental data. Among these, the radar-camera multi-modal perception system is especially favored for its excellent sensing capabilities and cost-effectiveness. However, the substantial modality differences between radar and camera sensors pose challenges in fusing information. To address this problem, this paper presents RCBEVDet, a radar-camera fusion 3D object detection framework. Specifically, RCBEVDet is developed from an existing camera-based 3D object detector, supplemented by a specially designed radar feature extractor, RadarBEVNet, and a Cross-Attention Multi-layer Fusion (CAMF) module. Firstly, RadarBEVNet encodes sparse radar points into a dense bird's-eye-view (BEV) feature using a dual-stream radar backbone and a Radar Cross Section aware BEV encoder. Secondly, the CAMF module utilizes a deformable attention mechanism to align radar and camera BEV features and adopts channel and spatial fusion layers to fuse them. To further enhance RCBEVDet's capabilities, we introduce RCBEVDet++, which advances the CAMF through sparse fusion, supports query-based multi-view camera perception models, and adapts to a broader range of perception tasks. Extensive experiments on the nuScenes show that our method integrates seamlessly with existing camera-based 3D perception models and improves their performance across various perception tasks. Furthermore, our method achieves state-of-the-art radar-camera fusion results in 3D object detection, BEV semantic segmentation, and 3D multi-object tracking tasks. Notably, with ViT-L as the image backbone, RCBEVDet++ achieves 72.73 NDS and 67.34 mAP in 3D object detection without test-time augmentation or model ensembling.

研究の動機と目的

• ミリ波レーダーとマルチビュー・カメラデータの間の顕著なモodal差異および空間的不一致に起因する統合の課題に対処すること。
• レーダー固有の特性（例：レーダ断面積（RCS）やスパースな点群）を考慮した、レーダー専用の特徴抽出器の設計。
• 鳥瞰図（BEV）空間において、レーダーとカメラの特徴を整列・統合する、強力なクロスアテンションベースの統合メカニズムの開発。
• クエリベースのマルチビュー検出器およびBEVセマンティックセグメンテーションや3次元マルチオブジェクトトラッキングなど、より広範な認識タスクをサポートするフレームワークの拡張。
• 実世界の自動運転シナリオにおいて、多様なバックボーンアーキテクチャと検出器設計にわたる一般化の検証。

提案手法

• RadarBEVNetは、スパースなレーダー点群から点ベース表現とトランスフォーマーに基づく表現を抽出する二重ストリームエンコーダーを用いる。
• インジェクションおよびエクストラクションモジュールが二重ストリーム表現を統合し、RCSに配慮した散乱を用いてBEV空間に投影することで、物体のサイズと分布をモデル化する。
• CAMFモジュールは可変アテンションを用いて、レーダーとカメラのBEV特徴を整列させ、空間的不一致を是正する。
• チャネルおよび空間統合層が、マルチモーダル特徴を統合し、検出性能の向上を図る。
• RCBEVDet++はCAMFにスパース統合を組み込み、クエリベースの検出ヘッドをサポートするとともに、より広範なタスク適合性を実現する。
• このフレームワークはプラグアンドプレイであり、LSSベースおよびトランスフォーマーに基づく検出器を含む、既存のカメラベース3次元認識モデルと互換性を持つ。

Figure 1: Overall pipeline of RCBEVDet. Firstly, multi-view images are encoded and transformed into image BEV features. Concurrently, radar point clouds are processed by the proposed RadarBEVNet to extract radar BEV features. Subsequently, features from both radar and cameras are dynamically aligned

実験結果

リサーチクエスチョン

• RQ1 レーダーとカメラの特徴は、それら固有のモダリティ的差異および空間的差異を考慮しても、BEV空間でどのように効果的に整列可能か？
• RQ2 LiDARにインspiredされたエンコーダーと比較して、RCSに配慮した特徴抽出器が3次元認識性能をどの程度向上させるか？
• RQ3 シンプルな連結や加算と比較して、クロスアテンションベースの統合メカニズムが、レーダーとカメラのBEV統合で優れているか？
• RQ4 本手法は、CNNおよびトランスフォーマーの両方のバックボーンアーキテクチャ、およびLSSおよびトランスフォーマーに基づく検出器設計に、どの程度一般化可能か？
• RQ5 本フレームワークは、3次元オブジェクト検出を越えて、BEVセマンティックセグメンテーションや3次元マルチオブジェクトトラッキングといった複数の認識タスクをサポートできるか？

主な発見

• RCBEVDet++は、テスト時拡張やモデルアンサンブルを用いないViT-Lを画像バックボーンとして用いた場合、nuScenesで3次元オブジェクト検出において72.73 NDSおよび67.34 mAPを達成する。
• 本手法は、ResNet-18、ResNet-50、Swin-T、DLA34など多様なバックボーンアーキテクチャにおいて、ベースライン性能を4.9 NDSおよび4.8–10.2 mAP向上させる。
• LSSベースの検出器では、BEVDetは5.6 NDS、BEVDepthは4.9 NDS向上する。
• トランスフォーマーに基づく検出器では、5.6–5.9 NDSの向上が得られ、mAPは8.3–8.7向上し、これは暗黙的な3次元位置学習に大きな利点があることを示している。
• 本フレームワークは検出器アーキテクチャにわたって良好に一般化され、StreamPETRおよびSparseBEVを含むすべてのテスト済みモデルが向上する。
• RCBEVDet++は、nuScenesベンチマークにおいて、3次元オブジェクト検出、BEVセマンティックセグメンテーション、3次元マルチオブジェクトトラッキングの各分野で、新たな最先端性能を達成した。

(a)