[論文レビュー] GIAOTracker: A comprehensive framework for MCMOT with global information and optimizing strategies in VisDrone 2021

Yunhao Du, Junfeng Wan+4 more|arXiv (Cornell University)|Feb 24, 2022

Video Surveillance and Tracking Methods参考文献 48被引用数 7

ひとこと要約

GIAOTrackerは、ドローン動画におけるマルチクラスマルチオブジェクトトラッキング（MCMOT）のための画期的な3段階フレームワークであり、グローバル情報と最適化戦略を統合することで最先端のパフォーマンスを達成している。適応的モーショングモデリング、グローバル特徴抽出器（GIModel）、および4つの後処理技術を活用し、VisDrone2021 MOTチャレンジで54.18 mAPを達成し、2位となった。

ABSTRACT

In recent years, algorithms for multiple object tracking tasks have benefited from great progresses in deep models and video quality. However, in challenging scenarios like drone videos, they still suffer from problems, such as small objects, camera movements and view changes. In this paper, we propose a new multiple object tracker, which employs Global Information And some Optimizing strategies, named GIAOTracker. It consists of three stages, i.e., online tracking, global link and post-processing. Given detections in every frame, the first stage generates reliable tracklets using information of camera motion, object motion and object appearance. Then they are associated into trajectories by exploiting global clues and refined through four post-processing methods. With the effectiveness of the three stages, GIAOTracker achieves state-of-the-art performance on the VisDrone MOT dataset and wins the 3rd place in the VisDrone2021 MOT Challenge.

研究の動機と目的

• ドローン動画トラッキングにおける小さな物体、カメラの動き、視点の変化といった課題に対処する。
• グローバル情報を統合し、トラッキング段階を最適化することで、トラッキングのロバスト性と正確性を向上させる。
• 複雑なUAVシナリオにおけるオンライントラッキング、グローバルアソシエーション、および後処理を強化する包括的なフレームワークを開発する。
• 新規の特徴およびモーショングモデリング戦略により、検出ノイズや隠蔽からのトラッキング誤りを低減する。
• トラジェクトリーデノイジング、補間、再スコアリング、モデル統合といった後処理技術の有効性を実証する。

提案手法

• 動的特徴状態を維持し、特徴変化情報を追跡するための特徴ストレージおよび更新戦略であるEMAバンクを提案する。
• 検出品質に基づいて測定ノイズのスケールを動的に調整するNoise Scale Adaptive Kalman（NSA Kalman）を導入し、モーショングモデリングを改善する。
• 自己注意に基づく時系列モデリングブロックを用いてグローバルおよびパーツレベルの外観特徴を統合するトラックレット特徴抽出器GIModelを設計する。
• トラックレット特徴と空間的・時間的距離を用いて、トラックレットを完全なトラジェクトリにアソシエートするグローバルリンク段階を採用する。
• 4つの後処理戦略を適用する：時系列IoUに基づくNMSによるデノイジング、欠落検出のための線形補間、長さ依存の再スコアリング、およびモデル統合のためのTrackNMS。
• 階層的なトラッキングパイプライン（オンライントラッキング → グローバルリンク → 後処理）を採用し、ロバストで正確なトラジェクトリ構築を実現する。

Figure 1: Overview of our proposed GIAOTracker pipeline for MCMOT

実験結果

リサーチクエスチョン

• RQ1 ドローン動画MCMOTにおけるトラジェクトリアソシエーションを向上させるために、どのようにしてグローバル情報を効果的に活用できるか？
• RQ2 適応的モーショングモデリングと最適化された特徴表現は、挑戦的なUAVシナリオにおけるトラッキングのロバスト性をどの程度向上させるか？
• RQ3 後処理技術の組み合わせが、ベーストラッカーを上回るトラッキングパフォーマンスを顕著に改善できるか？
• RQ4 TrackNMSによるモデル統合は、複雑なドローン動画シーケンスにおけるトラッキングmAPにどのように影響を与えるか？
• RQ5 VisDrone2021で高いパフォーマンスを達成する上で、検出品質とトラッキングフレームワーク設計の相対的寄与度は何か？

主な発見

• GIAOTrackerはVisDrone2021テスト・チャレンジセットで54.18 mAPを達成し、157件の提出の中での2位となった。
• アノテーションベースの検出を用いた場合、GIAOTrackerはテスト・デベロップメントセットで82.97 mAPを達成し、最高の単一モデル結果比で92.4%の向上を示した。
• 後処理段階の貢献は顕著で、デノイジング、補間、再スコアリングがそれぞれmAPを0.14、0.23、1.64ポイント向上させた。
• TrackNMSによるモデル統合により、性能は43.12 mAPから44.46 mAPに向上し、アンサンブルトラッキングの有効性が裏付けられた。
• グローバルリンク段階は、特に隠蔽や視点変化下でもトラジェクトリ断片化を顕著に低減させ、トラッキングを著しく向上させた。
• NSA KalmanとGIModelは、標準的な線形カルマンフィルターやベースライン特徴抽出器を上回り、モーショングモデリングおよび外観モデリングの有効性を実証した。

Figure 2: Comparision between DeepSORT (baseline) and GIAOTracker-Online (ours).