[論文レビュー] DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking

Qing Lian, Tai Wang+2 more|arXiv (Cornell University)|Mar 29, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

DORTは、静的仮定による局所化バイアスを是正するため、マルチカメラ3Dオブジェクト検出における動的オブジェクト運動をモデル化する再帰的フレームワークを提案する。オブジェクトごとの局所的3次元ボリュームと、運動および位置の反復的精製を用いることで、正確な時系列特徴集約を実現し、装飾なしでnuScenesで62.5% NDSおよび57.6% AMOTAの最先端性能を達成した。

ABSTRACT

Recent multi-camera 3D object detectors usually leverage temporal information to construct multi-view stereo that alleviates the ill-posed depth estimation. However, they typically assume all the objects are static and directly aggregate features across frames. This work begins with a theoretical and empirical analysis to reveal that ignoring the motion of moving objects can result in serious localization bias. Therefore, we propose to model Dynamic Objects in RecurrenT (DORT) to tackle this problem. In contrast to previous global Bird-Eye-View (BEV) methods, DORT extracts object-wise local volumes for motion estimation that also alleviates the heavy computational burden. By iteratively refining the estimated object motion and location, the preceding features can be precisely aggregated to the current frame to mitigate the aforementioned adverse effects. The simple framework has two significant appealing properties. It is flexible and practical that can be plugged into most camera-based 3D object detectors. As there are predictions of object motion in the loop, it can easily track objects across frames according to their nearest center distances. Without bells and whistles, DORT outperforms all the previous methods on the nuScenes detection and tracking benchmarks with 62.5\% NDS and 57.6\% AMOTA, respectively. The source code will be released.

研究の動機と目的

• 時系列特徴集約中にすべてのオブジェクトが静的であると仮定することで生じるマルチカメラ3D検出における局所化バイアスという重要な問題に取り組む。
• 運動と位置の同時推定という「鶏とたまご」の問題を、再帰的精製メカニズムを導入することで克服する。
• グローバルなビューアス・エイド（BEV）表現と比較して計算コストを低減しつつ、運動モデリングに適したオブジェクト単位の特徴表現を維持する。
• 予測された運動を用いてフレーム間で検出結果をアラインメントすることで、エンドツーエンドの共同3Dオブジェクト検出とトラッキングを可能にする。
• 構造的変更を最小限に抑え、実用的でプラグイン互換性の高いフレームワークとして、nuScenesベンチマークで最先端の性能を達成する。

提案手法

• グローバルなBEV操作と比較して計算コストを低減するため、オブジェクトごとの局所的3次元ボリュームを導入し、運動に敏感な特徴を抽出する。
• 予測されたオブジェクト運動に基づいて、前のフレームの局所的ボリュームを現在のフレームにワープすることで、時系列コストボリュームを構築する。
• ワープされたコストボリュームを監視信号として用い、運動および位置の予測を反復的に精製する再帰モジュールを実装する。
• 運動と位置の予測を同時に更新する微分可能で反復的なループを採用し、共同最適化を可能にする。
• 予測された運動を活用してフレーム間で検出結果をアラインメントすることで、追加のヘッド設計なしに自然にマルチオブジェクトトラッキングを実現する。
• 2フレームを超える複数フレームの時系列モデリングを可能にするために、再帰パイプラインを拡張し、運動推定の安定性を向上させる。

Figure 1 : Visualization of object localization from temporal correspondence. Previous work ignores the motion of moving objects, which leads to imprecise localization. Our work progressively refines the object’s location and motion so that the preceding features can be precisely aggregated.

実験結果

リサーチクエスチョン

• RQ1 時系列特徴集約中にオブジェクトを静的と仮定することで、マルチカメラ3D検出における3Dオブジェクト局所化精度にどのような影響を与えるか？
• RQ2 運動と位置の反復的精製は、時系列特徴アラインメントと深度推定バイアスの低減に効果をもたらすか？
• RQ3 グローバルなBEV表現と比較して、オブジェクト単位の局所的3次元ボリュームを用いることで、計算効率と検出性能にどのような影響があるか？
• RQ4 静的仮定と比較して、明示的な運動モデリングが共同検出・トラッキング性能にどの程度向上効果をもたらすか？
• RQ5 提案されたフレームワークは、既存のカメラベース3D検出器に構造的変更なしに柔軟に統合可能か？

主な発見

• DORTはnuScenes検出ベンチマークで62.5% NDSを達成し、複雑な設計を有する既存手法をすべて上回った。
• DORTはnuScenesトラッキングベンチマークで57.6% AMOTAを達成し、強力な共同検出・トラッキング性能を示した。
• 真値の運動を用いることで、静的仮定と比較してmAPが4.3%向上した。これは運動モデリングの必要性を裏付けた。
• 予測された運動でも、静的仮定と比較してmAPが2.9%向上した。これにより、提案された動的モデリングモジュールの有効性が検証された。
• アブレーションスタディの結果、オブジェクト単位の局所的ボリュームは、グローバルなBEVと同等の性能を達成しながら、特にパースペクティブビューにおいて顕著に低いFLOPSを実現した。
• 反復的精製により、運動と検出精度の両方で段階的な性能向上が得られ、複数の再帰ステップを経るごとに改善が継続した。

Figure 2 : Empirical analysis of the depth bias on the nuScenes dataset if objects are assumed static.