[論文レビュー] Sparse4D v3: Advancing End-to-End 3D Detection and Tracking

Xuewu Lin, Zixiang Pei+3 more|arXiv (Cornell University)|Nov 20, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

Sparse4D v3 は、時間的インスタンスノイズ除去、品質推定、分離型アテンション機構を導入することで、エンドツーエンドの3次元オブジェクト検出とトラッキングを進化させ、EVA02-Largeバックボーンと将来フレーム統合を用いて、nuScenesで71.9% NDSおよび67.7% AMOTAの最先端性能を達成した。

ABSTRACT

In autonomous driving perception systems, 3D detection and tracking are the two fundamental tasks. This paper delves deeper into this field, building upon the Sparse4D framework. We introduce two auxiliary training tasks (Temporal Instance Denoising and Quality Estimation) and propose decoupled attention to make structural improvements, leading to significant enhancements in detection performance. Additionally, we extend the detector into a tracker using a straightforward approach that assigns instance ID during inference, further highlighting the advantages of query-based algorithms. Extensive experiments conducted on the nuScenes benchmark validate the effectiveness of the proposed improvements. With ResNet50 as the backbone, we witnessed enhancements of 3.0\%, 2.2\%, and 7.6\% in mAP, NDS, and AMOTA, achieving 46.9\%, 56.1\%, and 49.0\%, respectively. Our best model achieved 71.9\% NDS and 67.7\% AMOTA on the nuScenes test set. Code will be released at \url{https://github.com/linxuewu/Sparse4D}.

研究の動機と目的

• 1対1の正例マッチングとスパースサンプリングによるスパースベース3次元検出の不安定性と収束不良を解消する。
• 時間的インスタンスノイズ除去と品質推定という補助学習タスクを導入することで、検出性能を向上させる。
• クエリベースアテンションにおける特徴干渉を低減するため、分離型アテンション機構を採用してアテンション機構の安定性を向上させる。
• トレーニングや損失関数を変更せずに、推論時にインスタンスIDを直接割り当てるエンドツーエンドトラッカーに拡張する。
• アーキテクチャ的およびトレーニング的改善を通じて、nuScenesベンチマークで最先端の性能を達成する。

提案手法

• 正例マッチングの安定化とトレーニング中の正例数の増加を目的に、時間的インスタンスノイズ除去を補助タスクとして導入する。
• 信頼度スコアの精緻化を図るため、品質推定ヘッドを追加し、検出順序と指標性能の向上を実現する。
• クエリ-特徴加算を連結に置き換えることで、分離型アテンションを提案し、誤ったアテンション重みの低減と特徴集約の向上を実現する。
• 推論時にインスタンスIDを割り当てることで、別個のデータアソシエーションやトラッキングヘッドを必要としないエンドツーエンド3次元マルチオブジェクトトラッキングを実装する。
• クラウドベース推論環境での性能向上を図るため、将来フレーム特徴統合とEVA02-Largeバックボーンを活用する。
• トレーナーの変更なしにトラッキング機能を統合し、追加のファインチューニングや真値IDの監視を必要としない。

Figure 1: Overview of Sparse4D framework, which input mutli-view video and output the perception results of all frames.

実験結果

リサーチクエスチョン

• RQ1 時間的インスタンスノイズ除去や品質推定といった補助学習タスクは、スパースベース3次元検出器の収束性と性能向上に寄与するか？
• RQ2 分離型アテンションは、クエリベース3次元検出における特徴干渉を低減し、アテンションマップの信頼性を向上させるか？
• RQ3 トレーニングプロセスや損失関数を変更せずに、クエリベース3次元検出器をエンドツーエンドトラッカーに拡張可能か？
• RQ4 将来フレーム特徴統合と大規模バックボーンは、検出およびトラッキング性能をどの程度向上させるか？
• RQ5 提案フレームワークは、検出およびトラッキングの両タスクにおいて、nuScenesベンチマークで最先端の性能を達成するか？

主な発見

• ResNet50バックボーンを用いる場合、Sparse4D v3 はnuScenesバリデーションセットで46.9% mAP、56.1% NDS、49.0% AMOTAを達成し、Sparse4Dv2に比べてそれぞれ3.0%、2.2%、7.6%の向上を示した。
• EVA02-Largeバックボーンと8フレームの将来フレームを用いることで、モデルはnuScenesテストセットで68.2% mAP、71.9% NDS、67.7% AMOTAに到達し、NDSおよびmAVEにおいて一部のLiDARベースモデル（例：TransFusion-L）を上回った。
• アブレーションスタディにより、時間的ノイズ除去、品質推定、分離型アテンションの各コンポonentが性能向上に寄与していることが確認され、品質推定によりmAVEが0.055低下し、AMOTAが0.076向上した。
• 分離型アテンション機構は、視覚化により誤ったアテンション重みの抑制が有効に機能していることが示され、歩行者など関係のないオブジェクトがターゲット車両と相関しなくなった。
• エンドツーエンドトラッカーは、追加のトレーニングや損失関数を必要とせず、事前に定義されたインスタンスからトラッキングレジリションを実現し、検出とトラッキングのシームレス統合を示した。
• 将来フレーム統合によりmAVEが5.67%低下し、NDSが3.23%向上した。一方、ResNet101からEVA02-Largeバックボーンに切り替えることで、mAPは5.98%向上した。

Figure 2: Inference efficiency (FPS) - perception performance (mAP) on nuScenes validation dataset of different algorithms.