[論文レビュー] Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection

Yingjie Wang, Jiajun Deng+7 more|arXiv (Cornell University)|Jun 2, 2023

Advanced SAR Imaging Techniques被引用数 4

ひとこと要約

Bi-LRFusionは、クエリベースの高さ特徴融合（QHF）ブロックを用いてLiDAR点群から擬似高さ特徴を学習することで、レーダーの高さ情報不足を補う双方向LiDAR-レーダー融合フレームワークを提案する。また、クエリベースのBEV特徴融合（QBF）ブロックを用いてレーダーのBEV特徴を強化する。本手法は最先端の性能を達成し、類似高さの物体では2.3%、高い物体では1.3%のAP向上を達成。40mを超える長距離でもLiDARオンリーベースラインを上回る性能を示す。

ABSTRACT

LiDAR and Radar are two complementary sensing approaches in that LiDAR specializes in capturing an object's 3D shape while Radar provides longer detection ranges as well as velocity hints. Though seemingly natural, how to efficiently combine them for improved feature representation is still unclear. The main challenge arises from that Radar data are extremely sparse and lack height information. Therefore, directly integrating Radar features into LiDAR-centric detection networks is not optimal. In this work, we introduce a bi-directional LiDAR-Radar fusion framework, termed Bi-LRFusion, to tackle the challenges and improve 3D detection for dynamic objects. Technically, Bi-LRFusion involves two steps: first, it enriches Radar's local features by learning important details from the LiDAR branch to alleviate the problems caused by the absence of height information and extreme sparsity; second, it combines LiDAR features with the enhanced Radar features in a unified bird's-eye-view representation. We conduct extensive experiments on nuScenes and ORR datasets, and show that our Bi-LRFusion achieves state-of-the-art performance for detecting dynamic objects. Notably, Radar data in these two datasets have different formats, which demonstrates the generalizability of our method. Codes are available at https://github.com/JessieW0806/BiLRFusion.

研究の動機と目的

• 物体の高さを捉えられないレーダーの課題に起因する、物体タイプごとの検出性能の不一致を解消すること。
• 双方向的な方法でLiDDRとレーダー特徴を融合することで、類似高さおよび高い物体の3次元物体検出精度を向上させること。
• LiDARの点群が疎になる長距離において、レーダーの一貫した長距離カバレッジを活用して検出性能を向上させること。
• センサーキャリブレーションの誤差が生じる実世界の状況でも耐性を持つ、頑健な融合メカニズムを開発すること。
• CenterPoint や TransFusion-L といった複数のLiDARオンリーディテクタに適用可能な汎用性を実証すること。

提案手法

• LiDAR点群からレーダーの高さ情報不足を補うために、擬似高さ特徴を学習するクエリベースの高さ特徴融合（QHF）ブロックを導入する。
• 詳細なLiDAR特徴を用いてレーダーのBEV特徴を精緻化するため、クエリベースのBEV特徴融合（QBF）ブロックを採用する。これにより、小さな物体や遠距離物体の検出が向上する。
• 双方向融合戦略（R2L：レーダーからLiDAR、L2R：LiDARからレーダー）を採用し、マルチモーダル特徴の相互強化を実現する。
• ボールクエリとマンハッタン距離に基づくBEVクエリを用いて、空間的近傍領域の特徴を集約し、局所的かつ文脈に配慮した融合を実現する。
• LiDARおよびレーダー点群からの特徴抽出に、PointNetとMLPベースのバックボーンを採用し、出力チャネル数を32に設定する。
• クエリ位置に応じて関連する特徴を動的に選択するマルチスケール融合機構を導入し、センサーキャリブレーションのずれに対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 レーダー点群に高さ情報が欠落していることが、さまざまな高さの物体における3次元物体検出性能に与える影響は何か？
• RQ2 LiDARから得られる擬似高さ特徴を学習することで、高い物体のレーダー検出性能はどの程度向上するか？
• RQ3 クエリベースの融合機構により、詳細なLiDAR特徴を活用してレーダーのBEV特徴を向上させることができるか？特に小さな物体や遠距離物体に対して有効か？
• RQ4 LiDAR点群の密度が低下する長距離領域において、提案された融合フレームワークの性能はどの程度か？
• RQ5 実世界の自動運転状況におけるセンサーキャリブレーションのずれに対して、この融合フレームワークはどの程度耐性を示すか？

主な発見

• QHFブロックは、LiDARオンリーベースラインと比較して、類似高さの物体で平均APが2.3%向上、高い物体で1.3%向上し、レーダーの高さ制限を補う有効性を示している。
• QBFブロック単体でも、類似高さの物体でAPが4.1%向上、高い物体で0.4%向上し、詳細なLiDAR特徴がレーダーのBEV表現を向上させることを示している。
• 40mを超える距離では、Bi-LRFusionはLiDARオンリーベースラインのCenterPointと比較して、車両のmAPが2.2%高い性能を達成し、長距離検出における優位性を示している。
• センサーキャリブレーションのずれがレベル3までであれば、mAPの低下はわずか0.6%にとどまり、実用的な耐性限界を示している。レベル4では著しく性能が低下する。
• TransFusion-Lに適用した場合、mAPは65.3%から67.5%に向上し、mAVEは24.8から23.7に低下した。これにより、異なる検出アーキテクチャに一般化可能であることが確認された。