[論文レビュー] BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving

Yunpeng Zhang, Zheng Zhu+5 more|arXiv (Cornell University)|May 19, 2022

Advanced Neural Network Applications被引用数 83

ひとこと要約

BEVerse は、3D認識（検出とセマンティックマップの構築）とモーション予測を同時に行う1段階のマルチタスクフレームワークであり、マルチカメラのBEV特徴から実現。nuScenes で最先端の結果を達成し、連続パイプラインに比べて効率を向上させる。

ABSTRACT

In this paper, we present BEVerse, a unified framework for 3D perception and prediction based on multi-camera systems. Unlike existing studies focusing on the improvement of single-task approaches, BEVerse features in producing spatio-temporal Birds-Eye-View (BEV) representations from multi-camera videos and jointly reasoning about multiple tasks for vision-centric autonomous driving. Specifically, BEVerse first performs shared feature extraction and lifting to generate 4D BEV representations from multi-timestamp and multi-view images. After the ego-motion alignment, the spatio-temporal encoder is utilized for further feature extraction in BEV. Finally, multiple task decoders are attached for joint reasoning and prediction. Within the decoders, we propose the grid sampler to generate BEV features with different ranges and granularities for different tasks. Also, we design the method of iterative flow for memory-efficient future prediction. We show that the temporal information improves 3D object detection and semantic map construction, while the multi-task learning can implicitly benefit motion prediction. With extensive experiments on the nuScenes dataset, we show that the multi-task BEVerse outperforms existing single-task methods on 3D object detection, semantic map construction, and motion prediction. Compared with the sequential paradigm, BEVerse also favors in significantly improved efficiency. The code and trained models will be released at https://github.com/zhangyp15/BEVerse.

研究の動機と目的

• 視覚中心の自動運転における統一された認識と予測を動機付け、効率を向上させ、誤差伝播を減らす。
• BEVベースの、マルチフレーム、マルチカメラのフレームワークを開発し、タスク間で特徴を共有する。
• 時間情報とマルチタスク学習が3D物体検出、セマンティックマップ構築、モーション予測を改善することを示す。

提案手法

• 画像ビューエンコーダとビュー変換器を介して、マルチビュー・マルチタイムスタンプ画像から4D BEV 表現を計算する。
• ego-モーションを用いて過去のBEV特徴を整列し、時空間BEVエンコーダで処理する。
• グリッドサンプラを備えたタスクデコーダを付着させ、検出、マップ構築、モーション予測のためのタスク固有のBEV特徴を生成する。
• メモリ効率の良い未来予測のための反復フローを導入し、マルチタスク学習を可能にする。
• BEV特化の拡張とトレーニング時の1段階マルチタスク損失バランス手法を使用。

実験結果

リサーチクエスチョン

• RQ1 単一のBEVベースのフレームワークは、マルチカメラ入力からの認識と予測を、逐次的な方法よりも効率的に同時に処理できるのか？
• RQ2 時間的BEV情報を取り入れることで、3D物体検出とセマンティックマップ構築は改善されるのか？
• RQ3 マルチタスク学習は、認識性能を維持または向上させつつ、正確なモーション予測を可能にできるのか？

主な発見

• BEVerse は nuScenes のセマンティックマップで 53.1% NDS および 51.7% mIoU を達成。
• モーション予測は nuScenes の検証セットで 40.9% IoU および 36.1% VPQを達成し、FIERY より特定の構成で IoU が 4.2%、VPQ が 6.2% 向上。
• 時間情報は3D物体検出とセマンティックマップを一貫して改善し、マルチフレームBEV特徴は共同学習時にモーション予測を強化。
• 逐次パラダイムと比較して、BEVerse はパフォーマンスを維持または向上させつつ、GFLOPs が少なくFPS が高いなど、より高い効率を実現。
• BEVerse-Tiny と BEVerse-Small は、精度と効率の間のトレードオフを提供し、カメラのみの設定で3D検出において最先端または競合的な結果を達成。