[論文レビュー] Towards Real-Time Multi-Object Tracking

Zhongdao Wang, Liang Zheng+3 more|arXiv (Cornell University)|Sep 27, 2019

Video Surveillance and Tracking Methods参考文献 45被引用数 32

ひとこと要約

本稿では、1つのネットワーク内で物体検出と外見埋め込みを同時に学習する、シングルショットディープラーニングフレームワーク「ジョイント検出と埋め込み（JDE）」を提案する。これにより、22–40 FPSでほぼリアルタイムのマルチオブジェクトトラッキングが可能となり、MOT-16で64.4%のMOTAスコアを達成し、最新の分離検出と埋め込み（SDE）手法と同等の性能を発揮する。

ABSTRACT

Modern multiple object tracking (MOT) systems usually follow the \emph{tracking-by-detection} paradigm. It has 1) a detection model for target localization and 2) an appearance embedding model for data association. Having the two models separately executed might lead to efficiency problems, as the running time is simply a sum of the two steps without investigating potential structures that can be shared between them. Existing research efforts on real-time MOT usually focus on the association step, so they are essentially real-time association methods but not real-time MOT system. In this paper, we propose an MOT system that allows target detection and appearance embedding to be learned in a shared model. Specifically, we incorporate the appearance embedding model into a single-shot detector, such that the model can simultaneously output detections and the corresponding embeddings. We further propose a simple and fast association method that works in conjunction with the joint model. In both components the computation cost is significantly reduced compared with former MOT systems, resulting in a neat and fast baseline for future follow-ups on real-time MOT algorithm design. To our knowledge, this work reports the first (near) real-time MOT system, with a running speed of 22 to 40 FPS depending on the input resolution. Meanwhile, its tracking accuracy is comparable to the state-of-the-art trackers embodying separate detection and embedding (SDE) learning ($64.4\%$ MOTA \vs $66.1\%$ MOTA on MOT-16 challenge). Code and models are available at \url{https://github.com/Zhongdao/Towards-Realtime-MOT}.

研究の動機と目的

• 検出と外見埋め込みを別々の順次処理として行う従来のマルチオブジェクトトラッキング（MOT）システムの非効率性（推論遅延の高さ）を解消する。
• 2段階検出器（例：Faster R-CNN）やリアルタイム関連付け手法の速度制限を克服し、真のリアルタイム性能を達成する。
• 検出と埋め込みのタスク間で低レベル特徴を共有する統合的でエンドツーエンドで訓練可能なフレームワークを構築し、重複する計算を削減する。
• 効率的なアーキテクチャ設計、マルチタスク学習、動的損失重み付けを組み合わせることで、リアルタイムMOTの新しいベースラインを確立する。
• 今後の研究を支援するため、統合学習の各構成要因（学習データ、ネットワークアーキテクチャ、損失関数、最適化、評価指標）の包括的分析を提供する。

提案手法

• YOLOベースのシングルショット検出器に、特徴ピラミッドネットワーク（FPN）に軽量な埋め込みヘッドを追加することで、外見埋め込み学習を直接統合し、バウンディングボックスと埋め込みを同時に出力可能にする。
• アノテーション分類、ボックス回帰、埋め込み学習の3つの目的を有するマルチタスク学習問題として訓練プロセスを定式化する。
• 分類、回帰、メトリクス学習の異種損失を動的にバランス調整するため、タスク依存の不確実性を用いることで、訓練の安定性と性能を向上させる。
• 統合された埋め込みを活用した高速で軽量な関連付けアルゴリズムを設計し、トラッキングパイプラインにおける計算オーバーヘッドを低減する。
• 6つの公開データセットを統合して、歩行者検出および人物検索を対象とした大規模で統合的なマルチラベルデータセットを構築し、バウンディングボックスと部分的IDアノテーションを含む。
• 検出と埋め込みの分岐間で共有された特徴を再利用することで、不要な特徴抽出を排除し、推論速度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 シングルショットネットワーク内で検出と外見埋め込みを統合的に学習することで、リアルタイム推論を達成しつつ、競争力のあるトラッキング精度を維持できるか？
• RQ2 JDEの性能は、MOTA、IDF1、IDスイッチ数の観点から、分離検出と埋め込み（SDE）手法と比べてどうなるか？
• RQ3 不確実性に基づく損失重み付けを用いたマルチタスク学習が、統合検出と埋め込み特徴の質に与える影響は何か？
• RQ4 入力解像度の変化や、歩行者同士の重なりが激しい状況下でも、提案された統合フレームワークはどの程度の性能を示すか？
• RQ5 JDEにおけるIDスイッチの主な要因は、検出エラーか、それとも弱い埋め込み品質か？

主な発見

• JDEは1088×608解像度で22.2 FPS、864×408解像度で最大30.3 FPSを達成し、競争力のある精度を維持する最初の（ほぼ）リアルタイムMOTシステムである。
• MOT-16ベンチマークでは64.4%のMOTAを達成し、SOTAのSDE手法（66.1% MOTA）と同等の性能を示すが、はるかに高速である。
• JDEのIDF1スコアは一部のSDE手法より低いが、アブレーションスタディにより、これは主に混雑したシーンにおける検出ボックスの不正確さに起因するものであることが判明した。
• 統合埋め込みを別個に訓練したre-IDモデルに置き換えても、IDF1やIDスイッチ数に改善は見られず、トラッキングの不安定さの根本原因が検出エラーにあることを確認した。
• リtrieval性能の可視化により、JDEが学習する高密度埋め込みが、検出特徴マップ単体よりも優れた空間的対応関係を提供することが確認された。
• JDEの実行時間の上限は、推定タイミングや報告されていない埋め込み推論時間の影響を考慮しても、既存手法の2–3倍以上高速である。