[論文レビュー] BEVDet4D: Exploit Temporal Cues in Multi-camera 3D Object Detection

Junjie Huang, Guan Huang|arXiv (Cornell University)|Mar 31, 2022

Advanced Neural Network Applications被引用数 156

ひとこと要約

BEVDet4D は BEVDet を現在フレームと過去フレームの BEV 特徴を統合する空間-時間の 4D 空間へ拡張し、速度予測のオーバーヘッドをほとんど増やさず、nuScenes で視覚ベースの 3D 検出の最先端を達成します。

ABSTRACT

Single frame data contains finite information which limits the performance of the existing vision-based multi-camera 3D object detection paradigms. For fundamentally pushing the performance boundary in this area, a novel paradigm dubbed BEVDet4D is proposed to lift the scalable BEVDet paradigm from the spatial-only 3D space to the spatial-temporal 4D space. We upgrade the naive BEVDet framework with a few modifications just for fusing the feature from the previous frame with the corresponding one in the current frame. In this way, with negligible additional computing budget, we enable BEVDet4D to access the temporal cues by querying and comparing the two candidate features. Beyond this, we simplify the task of velocity prediction by removing the factors of ego-motion and time in the learning target. As a result, BEVDet4D with robust generalization performance reduces the velocity error by up to -62.9%. This makes the vision-based methods, for the first time, become comparable with those relied on LiDAR or radar in this aspect. On challenge benchmark nuScenes, we report a new record of 54.5% NDS with the high-performance configuration dubbed BEVDet4D-Base, which surpasses the previous leading method BEVDet-Base by +7.3% NDS. The source code is publicly available for further research at https://github.com/HuangJunJie2017/BEVDet .

研究の動機と目的

• BEVDet を空間のみから空間-時間の 4D 融合へ拡張し、時間情報を活用する。
• BEVDet のアーキテクチャを維持しつつ、軽量な時間融合機構を組み込む。
• 絶対速度ではなく隣接 BEV 特徴間の位置オフセットを予測することで速度学習を簡素化する。
• nuScenes で最小限の推論オーバーヘッドで速度・姿勢・属性誤差の改善を実証する。

提案手法

• BEVDet の image-view エンコーダ、view transformer、BEV エンコーダ、タスクヘッドを維持し、過去の BEV 特徴を保存して整列後に現在のフレームと結合することで時間融合を追加する。
• 融合前に自己運動を除去するため、前-frame の BEV 特徴に単純な空間整列を適用する。
• 時間融合の前に追加の BEV エンコーダを導入してスパース特徴を調整し、学習を安定化させる。
• 速度予測を隣接 BEV_features の並進として定式化し、ターゲット学習信号から自己運動を取り除く。
• 回転と並進による整列（Eq. 2）の探索と、必要に応じてバイリニア補間を用いた特徴整列（Eq. 3）の実装。
• nuScenes 指標（mAP、mATE、mASE、mAOE、mAVE、mAAE、NDS）で評価し、推論速度（FPS）を報告する。

実験結果

リサーチクエスチョン

• RQ1 2つの隣接フレームからの BEV 特徴の時系列融合は、純粋なビジョンベースのマルチカメラ設定で速度と全体的な 3D オブジェクト検出性能を向上させることができるか？
• RQ2 自己運動を時系列特徴差分からデカップリングし、速度予測の学習を安定化させるために、どのような整列とネットワーク調整が必要か？
• RQ3 nuScenes における精度と速度の点で、BEVDet4D は最先端の視覚ベースベースラインとどう比較されるか？

主な発見

手法	モダリティ	mAP	mATE	mASE	mAOE	mAVE	mAAE	NDS	FPS
BEVDet4D-Tiny	Camera	0.338	0.672	0.274	0.519	0.337	0.185	0.476	15.5
BEVDet4D-Base	Camera	0.426	0.579	0.254	0.317	0.301	0.191	0.552	-

• BEVDet4D-Tiny は nuScenes val で BEVDet-Tiny より速度誤差を 62.9% 減らし（AVE が 0.909 から 0.337 mAVEへ）、NDS を 8.4% 向上させる。
• BEVDet4D-Base は nuScenes val で 54.5% NDS、テストセットで 56.9% NDS を達成し、以前の視覚ベース手法や BEVDet 系を上回りつつ、同等の待機時間を維持。
• 追加の BEV エンコーダの後に時間融合を行うと、以前の構成と比較して mAP、NDS、速度指標で顕著な改善を得られる最良のトレードオフを生む。
• 時間情報を活用することで、BEVDet4D は LiDAR/RADAR ベースの速度精度との差を縮め、nuScenes の検証で非RGBモダリティに対する競争力のある AVE を達成する。