[論文レビュー] Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection

Shihao Wang, Yingfei Liu+3 more|arXiv (Cornell University)|Mar 21, 2023

Advanced Vision and Imaging被引用数 7

ひとこと要約

StreamPETRはメモリキューと運動認識レイヤーニュラライゼーションを用いたオブジェクト中心の時系列モデリングを導入し、競争力のある lidar様性能と低オーバーヘッドでオンライン多視点3D物体検出を実現します。

ABSTRACT

In this paper, we propose a long-sequence modeling framework, named StreamPETR, for multi-view 3D object detection. Built upon the sparse query design in the PETR series, we systematically develop an object-centric temporal mechanism. The model is performed in an online manner and the long-term historical information is propagated through object queries frame by frame. Besides, we introduce a motion-aware layer normalization to model the movement of the objects. StreamPETR achieves significant performance improvements only with negligible computation cost, compared to the single-frame baseline. On the standard nuScenes benchmark, it is the first online multi-view method that achieves comparable performance (67.6% NDS & 65.3% AMOTA) with lidar-based methods. The lightweight version realizes 45.0% mAP and 31.7 FPS, outperforming the state-of-the-art method (SOLOFusion) by 2.3% mAP and 1.8x faster FPS. Code has been available at https://github.com/exiawsh/StreamPETR.git.

研究の動機と目的

• カメラのみの多視点3D検出を長期時系列情報で改善する動機。
• 履歴をオブジェクトクエリを介して伝搬するオブジェクト中心の時間的モデリングパラダイムを提案。
• 追加計算・ストレージをほとんど要さずオンライン推論を達成。
• 他のスパースクエリ手法への一般化と nuScenes および Waymo での強い結果のデモンストレーション。

提案手法

• 移動するオブジェクトをモデリングする時系列隠れ状態としてスパースなオブジェクトクエリを採用。
• フレームごとに伝搬を行う過去のオブジェクトクエリのメモリキューを維持。
• 伝搬トランスフォーマーを用いて現在のクエリと過去のクエリ間の長距離時空間相互作用を実行。
• 運動認識レイヤーネormalizationを導入し、自車とオブジェクトの運動を暗黙的にエンコード。
• 標準的な自己注意をハイブリッド注意機構に置換し、最小オーバーヘッドで時系列モデリングを可能に。
• メモリ駆動型のフレーム毎更新を採用し、トップKの前景クエリがメモリキューを更新し検出を導く。

実験結果

リサーチクエスチョン

• RQ1 メモリキューを介したオブジェクト中心の時間的伝搬は、密な時系列特徴を用いなくても競争力のあるオンライン多視点3D検出を達成できるか。
• RQ2 運動認識レイヤーネormalizationはストリーミング映像の自車およびオブジェクトの運動に対するロバスト性を向上させるか。
• RQ3 長期的な時系列融合性能に対する訓練シーケンス長とメモリサイズの影響は何か。
• RQ4 StreamPETRはnuScenesおよびWaymoで既存のオンラインカメラベース・ライダー基盤法とどのように比較されるか。
• RQ5 StreamPETRを超える他のスパースクエリ法へ本手法は一般化可能か。

主な発見

Method	Backbone	Image Size	Frames	mAP	NDS	mATE	mASE	mAOE	mAVE	mAAE	FPS
StreamPETR	ResNet50	256 × 704	8	0.432	0.540	0.581	0.272	0.413	0.295	0.195	27.1

• StreamPETRはnuScenesにおいてオンラインカメラのみの性能で競争力を示し、NDSおよびAMOTA指標でライダーベース手法に匹敵。
• 8フレームのメモリとResNet50バックボーンで、StreamPETRは0.432 mAPと0.540 NDSを達成し、複数のベースラインよりも精度と速度（27.1 FPS）で上回る。
• 運動認識レイヤーネormalizationの暗黙エンコードは、明示的な運動補正バリアントと比べてmAPを約2.0ポイント、NDSを約1.8ポイント改善。
• 訓練シーケンス長を8–12フレームへ増加させると長期的時系列依存性が向上するが、8フレームが性能と効率の良いバランスを提供。
• オブジェクト中心の時間的モデリングは小さなメモリフットプリントで、視点メモリベースの時系列融合より速度と精度の両方で上回る。