[論文レビュー] RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems

Yanlong Yang, Jianan Liu+4 more|arXiv (Cornell University)|Nov 11, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、LiDAR点群とレーダーの距離-方位ヒートマップを融合して、自己走行車両における頑健な3次元物体検出を実現するアンカーボックスフリーなビューアー（BEV）融合ネットワーク、RaLiBEVを提案する。新たに導入されたラベルアサインメント戦略（GACHIPS）とインタラクティブなトランスフォーマーモジュール（DQMITBF）により、RaLiBEVは最先端性能を達成し、明るい状態と曇りの状態の両方のテスト条件下で、IoU=0.8の基準で従来手法を13.1%および19.0%上回るmAPを達成した。

ABSTRACT

In autonomous driving, LiDAR and radar are crucial for environmental perception. LiDAR offers precise 3D spatial sensing information but struggles in adverse weather like fog. Conversely, radar signals can penetrate rain or mist due to their specific wavelength but are prone to noise disturbances. Recent state-of-the-art works reveal that the fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of predicted bounding boxes due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird's-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system's average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at Intersection of Union (IoU) of 0.8 under 'Clear+Foggy' training conditions for 'Clear' and 'Foggy' testing, respectively.

研究の動機と目的

• 悪天候下におけるアンカーベースの物体検出の限界、特に分類ヘッドと回帰ヘッドの不一致を是正すること。
• スパarsityなLiDAR点群と低解像度のレーダーヒートマップの間の融合の頑健性を向上させること。
• 事前に定義されたアンカーボックスに依存しないまま、厳しい条件下でも高い検出精度を維持すること。
• 対称的で学習可能なクエリベースのトランスフォーマーメカニズムを用いて、レーダーとLiDARモダリティ間の特徴相互作用を強化すること。
• LiDAR性能が著しく低下する曇りの天候条件下でも、優れた一般化性能と精度を示すこと。

提案手法

• 柱化（pillarization）を用いてLiDAR点群を構造的表現としてBEV特徴マップに変換する。
• レーダーの距離-方位ヒートマップを自然なBEV表現として用い、方位角と距離情報を保持する。
• 分類とボクセル境界回帰の間の損失の不一致を解消するため、動的かつ柔軟に前景／背景分類とボクセル境界回帰を一致させる、新規なラベルアサインメント戦略（GACHIPS）を採用する。
• 学習可能なクエリを介して、レーダーとLiDAR特徴の間で対称的かつ適応的な融合を可能にする、インタラクティブなトランスフォーマーモジュール（DQMITBF）を導入する。
• マルチスケールでアンカーフリーな検出ヘッドを適用し、融合済みのBEV特徴から直接物体カテゴリとボクセル境界を予測する。
• 耐久性のテストのため、明るい状態と曇りの状態の混合データを用いて、オックスフォード・レーダーロボットカー・データセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 BEV空間におけるLiDARとレーダーのデータ融合を用いたアンカーフリーな検出フレームワークは、3次元物体検出において優れた性能を達成できるか？
• RQ2 GACHIPSのような動的ラベルアサインメント戦略は、エンドツーエンド学習における分類ヘッドと回帰ヘッドの整合性をどのように向上させるか？
• RQ3 インタラクティブなトランスフォーマーベースの融合メカニズムは、悪天候下におけるレーダーとLiDARの特徴相互作用をどの程度強化するか？
• RQ4 BEV空間におけるレーダーとLiDARの融合は、LiDARオンリーやレーダーオンリーベースラインと比較して、曇りの状態で顕著に検出精度を向上させるか？
• RQ5 軽量で対称的な融合メカニズムは、複雑な非対称トランスフォーマー融合アーキテクチャーよりも、マルチセンサ検出において優れた性能を示せるか？

主な発見

• 『Clear+Foggy』のデータで学習し、『Clear』でテストした条件下で、IoU=0.8の基準で最先端手法を13.1%上回るmAPを達成した。
• 『Foggy』テストシナリオにおいて、『Clear+Foggy』データで学習した場合、IoU=0.8の基準で最先端手法を19.0%上回るmAPを達成した。
• 『Clear-only』データでの学習でも、曇りの状態でIoU=0.8の基準で97.8%のmAPを達成しており、優れた一般化性能を示した。
• DQMITBF融合モジュールは、直接的なトランスフォーマー融合を上回り、レーダーとLiDAR特徴間で適応的かつ対称的なアテンションを可能にした。
• 曇りの状態において、誤検出（false positive）と逆方向のヘディング予測（reversed heading prediction）を著しく低減し、テストされた曇りのフレームでは誤警報が1件、ヘディングエラーは0件にとどまった。
• LiDARオンリーのモデル（例：PointPillars）やレーダーオンリーベースラインと比較して、レーダーとLiDARの融合は、特に曇りの状態で優れた性能を示し、マルチモodal融合の有効性を確認した。