[論文レビュー] Localization-Guided Track: A Deep Association Multi-Object Tracking Framework Based on Localization Confidence of Detections

Ting Meng, Chunyun Fu+5 more|arXiv (Cornell University)|Sep 18, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文では、検出ボックスの分類信頼度に加えて局所化信頼度を活用することで、マッチング精度を向上させる、新たな深層関連多対象追跡フレームワークであるLocalization-Guided Track（LG-Track）を提案する。局所化信頼度をコスト行列に統合し、信頼度に適応した関連付け機構を設計することで、MOT17およびMOT20ベンチマークにおいて最先端の手法を上回る性能を示し、遮蔽や局所化誤差に対してより高い耐性を示す。

ABSTRACT

In currently available literature, no tracking-by-detection (TBD) paradigm-based tracking method has considered the localization confidence of detection boxes. In most TBD-based methods, it is considered that objects of low detection confidence are highly occluded and thus it is a normal practice to directly disregard such objects or to reduce their priority in matching. In addition, appearance similarity is not a factor to consider for matching these objects. However, in terms of the detection confidence fusing classification and localization, objects of low detection confidence may have inaccurate localization but clear appearance; similarly, objects of high detection confidence may have inaccurate localization or unclear appearance; yet these objects are not further classified. In view of these issues, we propose Localization-Guided Track (LG-Track). Firstly, localization confidence is applied in MOT for the first time, with appearance clarity and localization accuracy of detection boxes taken into account, and an effective deep association mechanism is designed; secondly, based on the classification confidence and localization confidence, a more appropriate cost matrix can be selected and used; finally, extensive experiments have been conducted on MOT17 and MOT20 datasets. The results show that our proposed method outperforms the compared state-of-art tracking methods. For the benefit of the community, our code has been made publicly at https://github.com/mengting2023/LG-Track.

研究の動機と目的

• 既存の検出に基づく追跡手法が検出ボックスの局所化信頼度を無視するという制限を解消すること。
• 物体マッチングにおいて外観の明確さと局所化の正確さを同時にモデル化することで、追跡性能を向上させること。
• 分類信頼度と局所化信頼度の両方を考慮した動的特徴選択を行うコスト行列を設計すること。
• 外観は明確だが局所化が悪い低信頼度検出が与える悪影響を、関連付け段階で適切に扱うことで軽減すること。

提案手法

• 検出ヘッドの出力から得られる局所化信頼度を、多対象追跡における新たなモダリティとして導入する。
• 分類信頼度、局所化信頼度、外観特徴を統合する深層関連メカニズムを設計し、より良いマッチングを実現する。
• 分類信頼度と局所化信頼度の両方のレベルに基づいて重みを付ける動的コスト行列を構築する。
• 外観埋め込みと信頼度に適応した特徴を統合する学習可能な統合モジュールを用いて、より頑健なマッチングを実現する。
• 検出と関連付けの両方の損失を統合してエンドツーエンドで学習し、追跡精度を最適化する。
• 関連付けの前処理として、信頼度に適応したNMSおよび再ランク戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 局所化信頼度を組み込むことで、低信頼度検出状況における追跡性能がどのように向上するか？
• RQ2 信頼度に適応したコスト行列は、従来の外観のみまたは信頼度のみに依存するマッチングを上回ることができるか？
• RQ3 分類信頼度は高いが局所化精度が低い物体が追跡性能に与える影響はどの程度で、それらはどのようにより良く扱えるか？
• RQ4 局所化信頼度が低い検出において外観の明確さを考慮することで、追跡の頑健性が向上するか？
• RQ5 提案手法はMOT17やMOT20のような多様な追跡ベンチマークにおいて、どの程度一般化可能か？

主な発見

• LG-TrackはMOT17およびMOT20データセットで最先端の性能を達成し、既存の検出に基づく追跡手法を上回る。
• 遮蔽や局所化が不正確な物体を処理する際、特に外観特徴が明確な物体に対して、追跡精度が顕著に向上する。
• 局所化信頼度を組み込むことで、より信頼性の高い関連付け意思決定が可能となり、誤検出とIDスイッチの減少が確認された。
• アブレーションスタディの結果、分類信頼度と局所化信頼度の両方が最終的な追跡性能に有意義に寄与することが確認された。
• ノイズが多いまたは不正確な検出に対しても、モデルは困難なシーケンスにおいても高いMOTAおよびHOTAスコアを維持する、頑健な性能を示した。