[論文レビュー] BEVDet: High-performance Multi-camera 3D Object Detection in Bird-Eye-View

Junjie Huang, Guan Huang+3 more|arXiv (Cornell University)|Dec 22, 2021

Advanced Image and Video Retrieval Techniques被引用数 294

ひとこと要約

BEVDetは、特殊なBEV空間拡張とScale-NMSを備えたモジュラーなBEVベースの3D物体検出フレームワークを導入し、nuScenesにおける視覚ベース手法の中で最先端の性能と高速推論を実現します。

ABSTRACT

Autonomous driving perceives its surroundings for decision making, which is one of the most complex scenarios in visual perception. The success of paradigm innovation in solving the 2D object detection task inspires us to seek an elegant, feasible, and scalable paradigm for fundamentally pushing the performance boundary in this area. To this end, we contribute the BEVDet paradigm in this paper. BEVDet performs 3D object detection in Bird-Eye-View (BEV), where most target values are defined and route planning can be handily performed. We merely reuse existing modules to build its framework but substantially develop its performance by constructing an exclusive data augmentation strategy and upgrading the Non-Maximum Suppression strategy. In the experiment, BEVDet offers an excellent trade-off between accuracy and time-efficiency. As a fast version, BEVDet-Tiny scores 31.2% mAP and 39.2% NDS on the nuScenes val set. It is comparable with FCOS3D, but requires just 11% computational budget of 215.3 GFLOPs and runs 9.2 times faster at 15.6 FPS. Another high-precision version dubbed BEVDet-Base scores 39.3% mAP and 47.2% NDS, significantly exceeding all published results. With a comparable inference speed, it surpasses FCOS3D by a large margin of +9.8% mAP and +10.0% NDS. The source code is publicly available for further research at https://github.com/HuangJunJie2017/BEVDet .

研究の動機と目的

• BEVセマンティックセグメンテーションと整合する自動運転のための統一的なBEVベースの3D物体検出を動機付ける。
• 性能を向上させつつ既存のコンポーネントを再利用するモジュラーBEVDetフレームワークを提案する。
• BEV学習における過学習に対処するためのBEV空間拡張と専用データ処理戦略。
• BEVオブジェクト分布に合わせた後処理の改善。

提案手法

• 4モジュールからなるBEVDetアーキテクチャ：画像ビューエンコーダ、ビュー変換器、BEVエンコーダ、タスク特化ヘッド。
• Depth予測を用いたLift-Splat-Shootベースのビュー変換を使用してBEV特徴を生成。
• BEV空間データ拡張戦略を導入してBEV学習を正則化。
• BEV空間でカテゴリごとに抑制閾値を適応させるScale-NMSを開発。
• データ拡張、BEVエンコーダ、解像度の影響をベンチマークとアブレーションを行い、精度と効率のトレードオフを最適化。

実験結果

リサーチクエスチョン

• RQ1 BEVベースの3D物体検出は、画像ビューベースの手法を上回りつつ推論速度を競争力のある水準に保てるか？
• RQ2 BEV特異的データ拡張とNMS戦略はBEVDetの精度と堅牢性にどのような影響を与えるか？
• RQ3 入力解像度、BEV解像度、およびネットワーク構成要素がnuScenesにおける検出性能に及ぼす影響は何か？

主な発見

• BEVDet-Tinyは704×256入力で31.2%のmAPと39.2%のNDSを達成し、15.6 FPS、215.3 GFLOPsで、同様の計算リソース下のFCOS3Dを上回る。
• BEVDet-Baseは1600×640入力で39.3%のmAPと47.2%のNDSを、2962.6 GFLOPsで達成し、速度も競争力を保つ（1.9 FPS）。
• Scale-NMSは特に小型物体（歩行者 +4.8% AP、交通コーン +7.5% AP）で顕著な利益をもたらし、全体のmAPを29.5%から31.2%に押し上げる。
• BEV空間拡張（BDA）と画像空間拡張（IDA）を組み合わせると、ピーク性能を大幅に向上させ（最大で31.6% mAP）、トレーニングの安定性を高める。
• nuScenesテストセットで、BEVDetは42.2% mAPと48.2% NDSを達成し、視覚ベース手法の中で首位に、LiDARベースの性能に近づいている。）