Skip to main content
QUICK REVIEW

[論文レビュー] BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation

Zhijian Liu, Haotian Tang|arXiv (Cornell University)|May 26, 2022
Advanced Neural Network ApplicationsComputer Science被引用数 27
ひとこと要約

BEVFusionはカメラとLiDARの特徴を共有BEV空間で統合し、マルチタスクの3D認識を実現。計算量を大幅に削減し、速度を向上させつつ最先端の成果を達成する。

ABSTRACT

Multi-sensor fusion is essential for an accurate and reliable autonomous driving system. Recent approaches are based on point-level fusion: augmenting the LiDAR point cloud with camera features. However, the camera-to-LiDAR projection throws away the semantic density of camera features, hindering the effectiveness of such methods, especially for semantic-oriented tasks (such as 3D scene segmentation). In this paper, we break this deeply-rooted convention with BEVFusion, an efficient and generic multi-task multi-sensor fusion framework. It unifies multi-modal features in the shared bird's-eye view (BEV) representation space, which nicely preserves both geometric and semantic information. To achieve this, we diagnose and lift key efficiency bottlenecks in the view transformation with optimized BEV pooling, reducing latency by more than 40x. BEVFusion is fundamentally task-agnostic and seamlessly supports different 3D perception tasks with almost no architectural changes. It establishes the new state of the art on nuScenes, achieving 1.3% higher mAP and NDS on 3D object detection and 13.6% higher mIoU on BEV map segmentation, with 1.9x lower computation cost. Code to reproduce our results is available at https://github.com/mit-han-lab/bevfusion.

研究の動機と目的

  • 統一された BEV 空間を用いて、カメラの意味的密度と LiDAR の幾何を保持するマルチセンサ融合を推進する。
  • 主要な計算ボトルネックを解消するための、効率的なカメラ-to-BEV変換を開発する。
  • モダリティを融合し複数の3D認識タスクをサポートする、完全畳み込みのBEVエンコーダを作成する。
  • nuScenesにおける3D物体検出とBEVマップ分割の双方で最先端の性能を実証する。

提案手法

  • カメラとLiDARからモダリティ別特徴を抽出する。
  • すべての特徴を幾何情報と意味情報を保持する統一BEV表現へ変換する。
  • 事前計算と区間削減を用いてBEVプーリングを最適化し、カメラ-to-BEV変換を40倍超速くする。
  • BEV特徴を完全畳み込みBEVエンコーダで融合する。
  • 3D物体検出とBEVマップ分割のためのタスク固有ヘッドを接続する。

実験結果

リサーチクエスチョン

  • RQ1共有BEV空間でのマルチセンサ融合は、幾何・意味認識タスクの両方において従来の点レベル融合を上回ることができるか?
  • RQ2精度を損なうことなく、カメラ-to-BEV変換をどれだけ高速化できるか?
  • RQ3単一のBEVベースの融合フレームワークは、複数の3D認識タスクを横断して一般化できるか?
  • RQ4BEVFusionによる検出と分割でnuScenesでの性能と効率の向上はどの程度か?

主な発見

  • BEVFusionはnuScenesで最先端の3D物体検出を達成し、従来手法より高いmAPとNDSを達成し、計算コストを低く抑えている。
  • BEVFusionは、BEVマップ分割でカメラのみモデルより13.6%高いIoUを達成し、従来の融合手法よりも13.6%改善している。
  • 事前計算と特殊な区間削減GPUカーネルにより、Camera-to-BEV変換のレイテンシが500ms超から約12msへ低下する。
  • BEVFusionは約1.9xのMACsを削減し、精度を維持または向上させつつ大幅なスピードアップを実現する。
  • マルチタスク学習は結合時に若干のネガティブ転移を示すことがあり、タスクごとに別々のBEVエンコーダを用いることでこれを緩和しつつ効率を維持できることを示唆する。)

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。