[論文レビュー] Multi-Camera Multi-Object Tracking on the Move via Single-Stage Global Association Approach

Pha Nguyen, Kha Gia Quach+4 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、自律走行車両におけるマルチカメラマルチオブジェクトトラッキングに対して、1段階のグローバルアソシエーション手法を提案する。Fractional Optimal Transport Assignment (FOTA) を用いて、複数のカメラに跨る検出結果を直接1つのトラッキングオブジェクトに結びつけることで、IDスイッチを低減し、トラッキング精度を向上させる。提案手法は、先行するビジョンベース手法と比較して、nuScenesテストセットにおいて性能を6.4%向上させ、IDスイッチエラーを3,807件から870件に削減した。

ABSTRACT

The development of autonomous vehicles generates a tremendous demand for a low-cost solution with a complete set of camera sensors capturing the environment around the car. It is essential for object detection and tracking to address these new challenges in multi-camera settings. In order to address these challenges, this work introduces novel Single-Stage Global Association Tracking approaches to associate one or more detection from multi-cameras with tracked objects. These approaches aim to solve fragment-tracking issues caused by inconsistent 3D object detection. Moreover, our models also improve the detection accuracy of the standard vision-based 3D object detectors in the nuScenes detection challenge. The experimental results on the nuScenes dataset demonstrate the benefits of the proposed method by outperforming prior vision-based tracking methods in multi-camera settings.

研究の動機と目的

• 移動する車両におけるマルチカメラマルチオブジェクトトラッキング（MC-MOT）の不安定さと断片化を、カメラ間での一貫性の欠如による3次元オブジェクト検出の不一致に起因するものとして解消すること。
• 個々のカメラでのトラッキングとその後のグローバルマッチングを分離する2段階のトラッキングパイプラインに依存する必要を排除すること。
• 1段階の最適化問題としてグローバルアソシエーションを定式化することで、動的MC-MOT環境下でのトラッキングのロバスト性と精度を向上させること。
• 統合的かつend-to-endフレームワークを用いて、nuScenesデータセット上でIDスイッチエラーを低減し、検出およびトラッキング性能を向上させること。

提案手法

• 世界座標系における1つのトラッキングオブジェクトを、重複するカメラ視野に跨る複数の検出結果にマッピングする1対多のグローバルアソシエーション問題の定式化を提案する。
• FOTA（Fractional Optimal Transport Assignment）を導入し、1段階の最適化問題としてグローバルアソシエーションを解く微分可能手法を提案する。
• SAGAベースの2つのフレームワークを構築する：SAGA-Track（FOTAを用いたトラックバイ検出）およびSAGA-TrackNet（自己注意および相互注意層を用いたクロスカメラ特徴モデリングのためのend-to-endトラックバイアテンション）。
• 外観および運動特徴を用いてクロスカメラマッチングを実現し、部分的または欠落した検出に対してもロバスト性を高める。
• 特徴符号化、オブジェクト局所化、グローバルトラックアソシエーションを一括してend-to-endで学習する統合アーキテクチャを採用する。
• 公平な評価のため、ベースライン比較において実用的なヒューリスティクス（例：IOUしきい値、ボックス統合）を適用する。

実験結果

リサーチクエスチョン

• RQ1 自律走行車両における動的マルチカメラマルチオブジェクトトラッキングにおいて、1段階のグローバルアソシエーションアプローチは、従来の2段階トラッキングパイプラインを上回る性能を発揮できるか？
• RQ2 FOTAは、nuScenesベンチマーク上での既存のビジョンベース手法と比較して、トラッキング精度をどの程度向上させ、IDスイッチエラーをどの程度低減できるか？
• RQ3 自己注意および相互注意メカニズムの統合は、グローバルオブジェクトアソシエーションのためのクロスカメラ関係をどの程度効果的にモデル化できるか？
• RQ4 SAGA-TrackNetにおけるend-to-end学習は、事後的なグローバルマッチングを伴う段階的トラッキングに比べ、より優れた一般化性能とロバスト性を示すか？

主な発見

• 提案されたSAGA-TrackおよびSAGA-TrackNetは、nuScenesテストセットにおいてIDスイッチエラーをベースラインの3,807件から870件に削減し、トラッキングの安定性が著しく向上した。
• SAGA-TrackNetはAMOTA 0.242およびMOTAR 0.627を達成し、QD-3DT や DEFT といったSOTAビジョンベース手法の大多数の指標を上回った。
• 提案手法は、先行するビジョンベースのトラッキングアプローチと比較して、nuScenesベンチマーク上、性能を最大6.4%向上させた。
• SAGA-TrackNetはFRAG（断片化）エラーを2,000件にまで低減したが、これはDEFTの3,420件と比較して顕著な改善を示している。
• 本フレームワークは、AMOTA、MOTA、Recallの指標において優れた性能を示し、オブジェクトアソシエーションおよびボクセル境界ボックス回帰の両方における精度向上を確認した。
• アブレーション実験の結果、カメラ間でのグローバル外観マッチングがIDスイッチの低減およびトラッキングのロバスト性向上に重要な要因であることが示された。