[論文レビュー] HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework

Kai Lei, Zhan Chen+2 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

HVDetFusionは、自律走行における3次元物体検出のための画角・レーダー融合フレームワークであり、カメラ専用推論にBevDet4Dベースのバックボーンを採用し、空間的・時間的プリオンを用いてレーダー情報を統合することで誤検出を低減する。nuScenesテストセットにおいて67.4%のNDSを達成し、既存のカメラ・レーダー検出器を上回り、特に歩行者や交通コーンなどの小形物体において優れた性能を発揮する。

ABSTRACT

In the field of autonomous driving, 3D object detection is a very important perception module. Although the current SOTA algorithm combines Camera and Lidar sensors, limited by the high price of Lidar, the current mainstream landing schemes are pure Camera sensors or Camera+Radar sensors. In this study, we propose a new detection algorithm called HVDetFusion, which is a multi-modal detection algorithm that not only supports pure camera data as input for detection, but also can perform fusion input of radar data and camera data. The camera stream does not depend on the input of Radar data, thus addressing the downside of previous methods. In the pure camera stream, we modify the framework of Bevdet4D for better perception and more efficient inference, and this stream has the whole 3D detection output. Further, to incorporate the benefits of Radar signals, we use the prior information of different object positions to filter the false positive information of the original radar data, according to the positioning information and radial velocity information recorded by the radar sensors to supplement and fuse the BEV features generated by the original camera data, and the effect is further improved in the process of fusion training. Finally, HVDetFusion achieves the new state-of-the-art 67.4\% NDS on the challenging nuScenes test set among all camera-radar 3D object detectors. The code is available at https://github.com/HVXLab/HVDetFusion

研究の動機と目的

• 純カメラおよびカメラ・レーダー融合推論を両立できる柔軟で頑健かつ効率的なマルチモodal 3次元物体検出フレームワークの開発。
• 従来の融合手法がカメラストリームの動作にレーダー入力を必須としているという制限を解消し、スタンドアロンでのカメラ性能を実現すること。
• 空間的および径方向速度のプリオンを効果的に活用してレーダー情報を統合することで、特に小形・難易度の高い物体の検出精度を向上させること。
• LiDARに代わるカメラおよびレーダーセンサーのみを用いて、挑戦的なnuScenesベンチマークで最先端の性能を達成すること。

提案手法

• 2ストリームで構成される分離型アーキテクチャを採用：純カメラ推論用のBevDet4Dベースストリームと、別個のレーダー統合ストリーム。
• レーダーから得られる空間的および径方向速度のプリオンを用いて、融合前のレーダー検出結果の誤検出をフィルタリング。
• 訓練中に、学習可能なクロスアテンションメカニズムを用いて、レーダー強化特徴とカメラ由来のBEV特徴を統合。
• 8フレームの将来フレームを用いた時間的モデリング戦略を採用し、運動および速度推定を向上。
• 特徴表現を強化するため、高度なバックボーン（ConvNeXt-Base、Internimage-Base）と高解像度入力（640×1600）を活用。
• トレーニング効率と性能最適化のため、COCO事前学習とアブレーション駆動型ハイパーパramータチューニングを適用。

実験結果

リサーチクエスチョン

• RQ1 分離型のカメラ・レーダー融合フレームワークは、効果的なレーダー統合を可能にしつつ、強力なスタンドアロンカメラ性能を維持できるか？
• RQ2 位置および径方向速度のレーダープリオンを組み込むことで、BEV特徴の質が向上し、誤検出が低減するか？
• RQ3 時間的モデリング（複数フレーム入力）およびバックボーン選択が、カメラ・レーダー融合における3次元物体検出精度に与える影響は何か？
• RQ4 高解像度入力および事前学習は、歩行者やバリアなどの小形物体の検出性能にどの程度向上効果をもたらすか？

主な発見

• HVDetFusionは、すべてのカメラ・レーダー3次元物体検出器の中で、nuScenesテストセットで67.4%のNDSという新たな最先端性能を達成した。
• BevDet-Gammaと比較して、トラックカーで4.7%、バスで5.8%、オートバイで5.6%の向上を達成した。
• CRNと比較して、歩行者で8.6%、交通コーンで7.8%、バリアで12.1%のmAP向上を達成し、小形物体における顕著な向上を示した。
• レーダー統合により、NDSはカメラ専用（8フレーム未来）の55.7%から65.2%に上昇し、レーダー統合モジュールの有効性を裏付けた。
• ConvNeXt-BaseまたはInternimage-Baseバックボーンを採用することで、NDSは58.7%に上昇し、より強力な特徴抽出器の利点を示した。
• 入力解像度を640×1600に高めることで、256×704と比較してNDSが5.4%向上し、空間的詳細の重要性を強調した。