[論文レビュー] Time Will Tell: New Outlooks and A Baseline for Temporal Multi-View 3D Object Detection

Jinhyung Park, Chenfeng Xu+5 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Vision and Imaging被引用数 71

ひとこと要約

SOLOFusionは検出のための長期の低解像度時相フュージョンと、局在化ポテンシャルを最大化するための短期の高解像度深度推定を活用し、nuScenesのカメラのみ3D検出で最先端の結果を達成します。

ABSTRACT

While recent camera-only 3D detection methods leverage multiple timesteps, the limited history they use significantly hampers the extent to which temporal fusion can improve object perception. Observing that existing works' fusion of multi-frame images are instances of temporal stereo matching, we find that performance is hindered by the interplay between 1) the low granularity of matching resolution and 2) the sub-optimal multi-view setup produced by limited history usage. Our theoretical and empirical analysis demonstrates that the optimal temporal difference between views varies significantly for different pixels and depths, making it necessary to fuse many timesteps over long-term history. Building on our investigation, we propose to generate a cost volume from a long history of image observations, compensating for the coarse but efficient matching resolution with a more optimal multi-view matching setup. Further, we augment the per-frame monocular depth predictions used for long-term, coarse matching with short-term, fine-grained matching and find that long and short term temporal fusion are highly complementary. While maintaining high efficiency, our framework sets new state-of-the-art on nuScenes, achieving first place on the test set and outperforming previous best art by 5.2% mAP and 3.7% NDS on the validation set. Code will be released $\href{https://github.com/Divadi/SOLOFusion}{here.}$

研究の動機と目的

• Cameraのみの3D検出における深度推定の改善を拡張歴史を通じて動機づける。
• temporal history（時空履歴）と空間解像度が multi-view ローカライズ潜在能力に与える影響を分析する。
• 長期低解像度検出と短期高解像度深度推定を組み合わせるスケーラブルなフレームワークを提案する。

提案手法

• Localization potentialを定義して multi-view 深度推定の容易さを定量化する。
• multi-view stereoと時空3D検出を結ぶ理論的フレームワークを開発する。
• SOLOFusionを2つのストリームで提案する： (1) 検出のための長期・低解像度のBEVコストボリューム、(2) Gaussian-Spaced Top-k samplingによる短期・高解像度深度推定。
• 長期フュージョンに16フレームのBEVコストボリュームを用いて低解像度特徴を相殺する。
• 短期フュージョンで2視点ステレオをガイドするためにモノクラー深度事前情報を組み込む。
• 長期と短期のフュージョンを組み合わせることで補完的なゲインが生まれることを経験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 カメラのみの3D検出において、視点間の最適な時系列差は画素と深度ごとにどのように変化するのか？
• RQ2 長期の低解像度時相フュージョンは低解像度特徴の制約を補えるのか、ローカライズ潜在能力を改善できるのか？
• RQ3 短期の高解像度深度推定を長期の時相フュージョンと組み合わせることで補完的な改善が得られるのか？

主な発見

Method	Backbone	Image Size	mAP↑	NDS↑	mATE↓	mASE↓	mAOE↓	mAVE↓	mAAE↓
BEVDet	ResNet50	256×704	0.298	0.379	0.725	0.279	0.589	0.860	0.245
PETR	ResNet50	384×1056	0.313	0.381	0.768	0.278	0.564	0.923	0.225
BEVDet4D	ResNet50	256×704	0.322	0.457	0.703	0.278	0.495	0.354	0.206
BEVDepth	ResNet50	256×704	0.351	0.475	0.639	0.267	0.479	0.428	0.198
STS	ResNet50	256×704	0.377	0.489	0.601	0.275	0.450	0.446	0.212
BEVStereo	ResNet50	256×704	0.372	0.500	0.598	0.270	0.438	0.367	0.190
SOLOFusion	ResNet50	256×704	0.427	0.534	0.567	0.274	0.411	0.252	0.188
FCOS3D	ResNet101-DCN	900×1600	0.295	0.372	0.806	0.268	0.511	1.131	0.170
BEVFormer	ResNet101-DCN	900×1600	0.416	0.517	0.673	0.274	0.372	0.394	0.198
PolarDETR-T	ResNet101-DCN	900×1600	0.383	0.488	0.707	0.269	0.344	0.518	0.196
UVTR	ResNet101-DCN	900×1600	0.379	0.483	0.731	0.267	0.350	0.510	0.200
PolarFormer	ResNet101-DCN	900×1600	0.432	0.528	0.648	0.270	0.348	0.409	0.201
SOLOFusion	ResNet101	512×1408	0.472	0.544	0.518	0.275	0.604	0.310	0.210

• SOLOFusionはカメラのみの3D検出でnuScenesのテストセットで1位を獲得。
• nuScenesバリデーション（CBGS使用時）においてSOLOFusionはmAP0.427およびNDS0.534を達成し、従来技術を5.2%ポイント上回る。
• SOLOFusionはローカリゼーション（mATE）と速度推定（mAVE）を大幅に改善し、基準と比べてmAVEで12.3%のゲインを達成。
• 長期フュージョン（16タイムステップ）によりmAPとmATEで顕著な改善が見られ、さらに短期の高解像度深度推定が性能を高め、両者の補完性を示す。
• 追加の深度事前学習なしのテストデータにおいて、SOLOFusionはConvNeXt-Bを用いて640×1600で0.540 mAPと0.619 NDSを達成し、いくつかのベースラインを上回る。