[論文レビュー] Strong-TransCenter: Improved Multi-Object Tracking based on Transformers with Dense Representations

Amit Galor, Roy Orfaig+1 more|arXiv (Cornell University)|Oct 24, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、トランスフォーマーに基づくマルチオブジェクトトラッキングフレームワークであるStrong-TransCenterを提案する。この手法は、運動モデル化のためのカルマンフィルタと再識別用のディープ埋め込みネットワークを用いた後処理を、TransCenterに統合することで向上させたものである。本手法はMOT17およびMOT20ベンチマークで最先端の性能を達成し、HOTAおよびIDF1指標においてトランスフォーマー基盤のトラッカーとして、MOT17では70.9%のIDF1、59.8%のHOTA、75.8%のMOTAを達成し、MOT20では67.5%のIDF1、56.3%のHOTA、73.0%のMOTAを達成した。

ABSTRACT

Transformer networks have been a focus of research in many fields in recent years, being able to surpass the state-of-the-art performance in different computer vision tasks. However, in the task of Multiple Object Tracking (MOT), leveraging the power of Transformers remains relatively unexplored. Among the pioneering efforts in this domain, TransCenter, a Transformer-based MOT architecture with dense object queries, demonstrated exceptional tracking capabilities while maintaining reasonable runtime. Nonetheless, one critical aspect in MOT, track displacement estimation, presents room for enhancement to further reduce association errors. In response to this challenge, our paper introduces a novel improvement to TransCenter. We propose a post-processing mechanism grounded in the Track-by-Detection paradigm, aiming to refine the track displacement estimation. Our approach involves the integration of a carefully designed Kalman filter, which incorporates Transformer outputs into measurement error estimation, and the use of an embedding network for target re-identification. This combined strategy yields substantial improvement in the accuracy and robustness of the tracking process. We validate our contributions through comprehensive experiments on the MOTChallenge datasets MOT17 and MOT20, where our proposed approach outperforms other Transformer-based trackers. The code is publicly available at: https://github.com/amitgalor18/STC_Tracker

研究の動機と目的

• トランスフォーマー基盤のマルチオブジェクトトラッキングの性能を、TransCenterフレームワークに後処理コンponentsを統合することで向上させること。
• 遮蔽や運動のぼやけなどの困難なトラッキング状況におけるIDスイッチや誤検出を低減すること。
• バックボーンのトランスフォーマーアーキテクチャを変更せずに、運動モデリングと外観ベースの再識別によりトラッキングのロバスト性を向上させること。
• 特にHOTAおよびIDF1のようなトラッキングの正確性と一貫性に敏感な指標において、MOTChallengeベンチマークで最先端の結果を達成すること。

提案手法

• 本トラッカーは、特徴マップ全体にわたるセンターに基づくトラッキングのための密度の高いオブジェクトクエリを生成する、事前学習済みのTransCenterバックボーンを用いる。
• 後処理には、フレーム間での予測精度を向上させるために、運動軌跡を推定するカルマンフィルタを用いる。
• 外観ベースの再識別は、視覚的類似性に基づいて検出結果を既存のトラックにマッチングさせるために学習された埋め込みネットワークを用いて実行される。
• トラック関連付けは、IoUベースのマッチングと外観埋め込み距離の両方を組み合わせ、高いIoU閾値によるフィルタリング後に最小値をとることで、空間的一致性を確保する。
• システムは、最適な割り当てを実現するためにハンガリアン法を用い、運動および外観の手がかりを統合する。
• フレームワークは検出およびトラッキングヘッド上でエンドツーエンドに訓練され、後処理は推論時のみに適用される。

実験結果

リサーチクエスチョン

• RQ1 カルマンフィルタと外観再識別による後処理は、最先端のトランスフォーマー基盤MOTトラッカーの性能を顕著に向上させることができるか？
• RQ2 運動モデリングと外観特徴の統合は、遮蔽や曖昧なトラッキング状況におけるIDスイッチおよび誤検出率にどのように影響を与えるか？
• RQ3 トランスフォーマー基盤トラッカーにおいて、運動予測と埋め込みベースの再識別を組み合わせることで、HOTAおよびIDF1指標はどの程度向上するか？
• RQ4 提案手法は、MOT17およびMOT20のような標準的なMOTベンチマークにおいて、既存のトランスフォーマー基盤トラッカーを上回る性能を発揮するか？

主な発見

• Strong-TransCenterは、MOT17テストセットで70.9%のIDF1、59.8%のHOTA、75.8%のMOTAを達成し、IDF1およびHOTAにおいてトランスフォーマー基盤トラッカーの中で第1位となった。
• MOT20テストセットでは、67.5%のIDF1、56.3%のHOTA、73.0%のMOTAを達成し、トランスフォーマー基盤トラッカーとしてのすべての3つの指標で新記録を樹立した。
• 定性的な分析から、特に物体の出現や遮蔽状況において、カルマンフィルタによる改善された運動予測のおかげで、IDスイッチエラーが顕著に低減されていることが示された。
• カルマンフィルタは、より正確な軌道予測を可能にし、ノイズの多いオプティカルフローへの依存を軽減し、トラックの継続性を向上させた。
• 外観埋め込みと位置ベースのマッチングの組み合わせにより、部分的遮蔽状況でも誤検出および誤検出が低減され、フレーム単位の可視化でその有効性が裏付けられた。
• MOTAに強い性能を維持しながら、HOTAおよびIDF1が顕著に向上したため、より優れた全体的なトラッキング品質とアイデンティティの一貫性が得られた。