[論文レビュー] LXL: LiDAR Excluded Lean 3D Object Detection With 4D Imaging Radar and Camera Fusion

Weiyi Xiong, Jianan Liu+4 more|arXiv (Cornell University)|Jul 3, 2023

Advanced Neural Network Applications参考文献 59被引用数 2

ひとこと要約

本論文は、LiDARを排除した3次元物体検出フレームワークLXLを提案する。LXLは、4次元イメージングレーダーとカメラデータを、独創的な「レーダー占有状態支援型深度ベースのサンプリング」戦略を用いて統合する。予測された画像深度分布マップとレーダー3次元占有グリッドを活用することで、視点変換の正確性が向上し、LiDARDや複雑な装飾要素を一切使用せずにVoDおよびTJ4DRadSetで最先端の性能を達成する。

ABSTRACT

As an emerging technology and a relatively affordable device, the 4D imaging radar has already been confirmed effective in performing 3D object detection in autonomous driving. Nevertheless, the sparsity and noisiness of 4D radar point clouds hinder further performance improvement, and in-depth studies about its fusion with other modalities are lacking. On the other hand, as a new image view transformation strategy, "sampling" has been applied in a few image-based detectors and shown to outperform the widely applied "depth-based splatting" proposed in Lift-Splat-Shoot (LSS), even without image depth prediction. However, the potential of "sampling" is not fully unleashed. This paper investigates the "sampling" view transformation strategy on the camera and 4D imaging radar fusion-based 3D object detection. LiDAR Excluded Lean (LXL) model, predicted image depth distribution maps and radar 3D occupancy grids are generated from image perspective view (PV) features and radar bird's eye view (BEV) features, respectively. They are sent to the core of LXL, called "radar occupancy-assisted depth-based sampling", to aid image view transformation. We demonstrated that more accurate view transformation can be performed by introducing image depths and radar information to enhance the "sampling" strategy. Experiments on VoD and TJ4DRadSet datasets show that the proposed method outperforms the state-of-the-art 3D object detection methods by a significant margin without bells and whistles. Ablation studies demonstrate that our method performs the best among different enhancement settings.

研究の動機と目的

• 4次元レーダー点群の疎でノイジーな特性に起因する3次元物体検出の課題に対処する。
• 長距離性能に限界を示す既存の視点変換手法（例：スプラッティング）を克服する。
• 画像からBEV特徴変換における「サンプリング」が「深度ベースのスプラッティング」に比べ優れた代替手段である可能性を検証する。
• 画像ベースの深度予測とレーダー3次元占有グリッドを統合することで、マルチモーダル融合を向上させる。
• コスト感受性の高い自動運転に適した、軽量で効率的かつ高精度なLiDAR非搭載3次元物体検出システムの開発。

提案手法

• 画像深度分布マップとレーダー3次元占有グリッドを統合する新規の視点変換戦略「レーダー占有状態支援型深度ベースのサンプリング」を提案する。
• 画像視点（PV）特徴から深さヘッドを用いて予測された画像深度分布マップを生成する。
• 軽量な占有ネットワークを用いて、レーダーの鳥瞰図（BEV）座標系に直接的にレーダー3次元占有グリッドを生成する。
• 画像深度とレーダー占有状態の統合情報を用いて、BEV変換中の特徴抽出をガイドすることで、より良い空間的整合性を実現する。
• BEV空間におけるレーダー3次元占有グリッドの効率的処理のため、スパarsityを活かした畳み込み演算を適用する。
• 変換された特徴を3次元検出ヘッドに統合し、LiDARを一切使用せずにエンドツーエンドの3次元物体検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 カメラと4次元レーダー融合に応用した場合、画像からBEV特徴変換において「サンプリング」が「スプラッティング」を上回る可能性はあるか？
• RQ2 レーダー3次元占有グリッドの統合が、視点変換における深度ベースのサンプリングの正確性をどの程度向上させるか？
• RQ3 LiDARを排除したシステムが、4Dレーダーとカメラデータのみで3次元物体検出において最先端の性能を達成できるか、その限界は何か？
• RQ4 視点変換における深さ監視と占有グリッドベースのレーダー統合の間で、性能のトレードオフはどのようなものか？
• RQ5 限られたセンサデータ条件下で、複雑なマルチステージアーキテクチャを凌駆するシンプルで効果的な統合戦略は、3次元検出で有効であるか？

主な発見

• 提案された「レーダー占有状態支援型深度ベースのサンプリング」戦略は、VoDおよびTJ4DRadSetデータセットにおいて、両方の「スプラッティング」と他のレーダー統合手法を顕著に上回る。
• LiDARを一切使用せず、3次元物体検出において最先端の性能を達成した。これは、LiDAR非搭載システムの実現可能性を示している。
• アブレーションスタディにより、画像深度マップとレーダー3次元占有グリッドの組み合わせが、サンプリング戦略の向上に最も効果的であることが確認された。
• EAA APの観点から、すべての距離範囲において「サンプリング」アプローチが「スプラッティング」を一貫して上回った。特に、スプラッティングが疎らさの影響を強く受ける長距離検出において顕著な優位性を示した。
• レーダー点からの真値深度割り当てに基づく「レーダー支援型深さ監視」手法は、レーダーのノイズと疎らさのため、収束がうまくいかなかった。
• 「3D占有グリッド（CRN）」という代替手法は、計算コストの高さとレーダーの疎らさへの感受性が高く、LXLに比べて性能が劣った。一方、LXLは優れた速度と正確性を維持した。