[論文レビュー] M$^2$BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation

Enze Xie, Zhiding Yu+6 more|arXiv (Cornell University)|Apr 11, 2022

Robotics and Sensor-Based Localization被引用数 86

ひとこと要約

M2BEV を紹介する。複数カメラを統合したフレームワークで、3D物体検出と BEV 分割を共有 BEV 表現上で同時に実行し、nuScenes で最先端の結果を高い効率で達成する。

ABSTRACT

In this paper, we propose M$^2$BEV, a unified framework that jointly performs 3D object detection and map segmentation in the Birds Eye View~(BEV) space with multi-camera image inputs. Unlike the majority of previous works which separately process detection and segmentation, M$^2$BEV infers both tasks with a unified model and improves efficiency. M$^2$BEV efficiently transforms multi-view 2D image features into the 3D BEV feature in ego-car coordinates. Such BEV representation is important as it enables different tasks to share a single encoder. Our framework further contains four important designs that benefit both accuracy and efficiency: (1) An efficient BEV encoder design that reduces the spatial dimension of a voxel feature map. (2) A dynamic box assignment strategy that uses learning-to-match to assign ground-truth 3D boxes with anchors. (3) A BEV centerness re-weighting that reinforces with larger weights for more distant predictions, and (4) Large-scale 2D detection pre-training and auxiliary supervision. We show that these designs significantly benefit the ill-posed camera-based 3D perception tasks where depth information is missing. M$^2$BEV is memory efficient, allowing significantly higher resolution images as input, with faster inference speed. Experiments on nuScenes show that M$^2$BEV achieves state-of-the-art results in both 3D object detection and BEV segmentation, with the best single model achieving 42.5 mAP and 57.0 mIoU in these two tasks, respectively.

研究の動機と目的

• 自動運転における統合的な360度認識を動機づけるため、3D検出とBEVセグメンテーションを共同で扱う。
• 1つのエンコーダで複数ビュー・多タスク学習を可能にするBEVベースの表現を開発。
• Spatial-to-Channel BEV エンコーディング、ダイナミックアンカ割り当て、BEV センタネスなどの新規コンポーネントを通じて効率と精度を向上。

提案手法

• 複数視点の2D画像特徴を自車座標系の3Dボクセル表現に変換。
• 提案されたSpatial-to-Channel (S2C) 演算子を用いてボクセルをBEV特徴に変換し、Z次元を削減。
• BEV特徴上に軽量な3D検出ヘッド（PointPillars 由来）を適用し、ダイナミックな3Dアンカー割り当て戦略を採用。
• BEVセグメンテーションヘッドを追加してBEV上の走行可能領域と車線境界を予測。BEVセンタネスを用いて遠距離サンプルの重みを再計算。
• 大規模な2D検出事前学習（nuImage）と2D補助監督を用いて3Dタスクを強化。
• 結合損失で学習: L_total = L_det3d + L_seg3d + L_det2d、タスク固有の損失を含む。
• AdamWで最適化; 入力解像度は固定の1600x900; データ拡張なし; バックボーン選択とエンコーダ設計のアブレーション。

実験結果

リサーチクエスチョン

• RQ1 統合されたBEV表現は、マルチビューカメラ設定で3D物体検出とBEVセグメンテーションの両方をサポートできるか？
• RQ2 効率性を重視したBEVエンコーダ設計とダイナミックアンカー割り当ては、カメラベースの3D検出とBEVセグメンテーションを改善するか？
• RQ3 大規模な2D事前学習と2D補助監督が3D知覚性能に与える影響は？
• RQ4 共有BEVフレームワークにおける3D検出とBEVセグメンテーションのためのジョイントマルチタスク学習は有益か？

主な発見

• M2BEV は nuScenes で単一モデルとして、3D物体検出（mAP 0.425）とBEVセグメンテーション（mIoU 57.0）の両方で最先端の結果を達成。
• 結合訓練は個別タスクの性能をわずかに損なうが、共有エンコーダとタスク間の効率性利点を提供。
• Spatial-to-Channel (S2C) による効率的なBEVエンコーディングは、素の3D convと比べてメモリと計算を削減し、より高い入力解像度と高速推論を可能にする。
• ダイナミック3Dアンカー割り当ては、固定IoUマッチングと比較してmAPを最大7.8ポイント、NDSを最大4.8ポイント向上させる。
• nuImageでの2D検出事前学習は3D検出指標を大幅に向上させ（例: mAP が最大+13.5）、収束を加速する。2D補助監督はさらなる性能向上をもたらす。
• BEV centerness はBEVセグメンテーションを改善し、特に遠方領域で効果的であり、Spatial-to-Channel BEVエンコーダは低コストでより深い改良を可能にする。