[論文レビュー] Simple Online and Realtime Tracking with a Deep Association Metric

Nicolai Wojke, Alex Bewley+1 more|arXiv (Cornell University)|Mar 21, 2017

Video Surveillance and Tracking Methods参考文献 17被引用数 119

ひとこと要約

SORT に深層外観指標を追加してオンライン多物体追跡を改善する。外観記述子のための事前学習済みCNNを使用し、アイデンティティスイッチを約45%削減するマッチングキャスケードを適用しつつ、リアルタイム性能を維持する。

ABSTRACT

Simple Online and Realtime Tracking (SORT) is a pragmatic approach to multiple object tracking with a focus on simple, effective algorithms. In this paper, we integrate appearance information to improve the performance of SORT. Due to this extension we are able to track objects through longer periods of occlusions, effectively reducing the number of identity switches. In spirit of the original framework we place much of the computational complexity into an offline pre-training stage where we learn a deep association metric on a large-scale person re-identification dataset. During online application, we establish measurement-to-track associations using nearest neighbor queries in visual appearance space. Experimental evaluation shows that our extensions reduce the number of identity switches by 45%, achieving overall competitive performance at high frame rates.

研究の動機と目的

• 出現情報を取り入れることで、遮蔽に対するオンライン多物体追跡の頑健性を向上させる。
• SORT と同等の単純さとリアルタイム性能を維持する。
• オンラインデータアソシエーションを導くために、オフラインで学習された深層外観特徴を活用する。
• IDスイッチの削減と全体的な追跡指標を定量化するために MOT16 で評価する。

提案手法

• フレームごとのデータアソシエーションを行いながら、カルマンフィルタベースの単一仮説追跡を維持する。
• データアソシエーション指標を二つ統合する：(i) 運動ベースのゲーティングのための Mahalanobis 距離；(ii) 深層CNN記述子を用いた外観空間のコサイン距離。
• 結合コスト c_{i,j} = lambda * d^(1)(i,j) + (1 - lambda) * d^(2)(i,j) を計算し、両方の指標でアソシエーションをゲートする。
• 年齢で最近観測されたトラックを優先するマッチングキャスケードを用いて、一連のサブ問題を解決し、フラグメンテーションを低減する。
• 切り出した bounding box から 128 次元の L2 正規化外観記述子を生成する深層CNNを利用する；特徵は大規模な person re-id データセットで訓練されたものを使用；外観空間でのオンライン最近傍マッチング。
• オンライン追跡を可能にするため、事前学習済みCNNモデルと特徴抽出のコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 オフラインで学習された外観情報は、SORT のオンライン追跡性能をリアルタイム速度を犠牲にすることなく改善できるか？
• RQ2 遮蔽や検出欠如時にアイデンティティ保持を最大化するために、運動と外観の手がかりをどのように融合すべきか？
• RQ3 オンライン追跡における外観ベースのデータアソシエーションがアイデンティティスイッチおよびトラックの断片化に与える影響はどの程度か？
• RQ4 拡張 SORT は MOT16 における標準検出を用いた最先端のオンライントラッカーと競争力があるか？

主な発見

MOTA（総追跡精度）	MOTP（平均位置誤差）	MT	ML	ID	FM	FP	FN	Runtime
61.4	79.1	32.8%	18.2%	781	2008	12852	56668	40 Hz

• アイデンティティスイッチは 1423 (SORT) から 781 (Deep SORT) に減少し、約 45% 減少。
• Deep SORT は、IDスイッチを減らしつつオンライン処理を約 20 Hz で維持し、競争力のある MOT スコアを達成。
• MOT16 の結果では、Deep SORT (online) は MOTA 61.4、MOTP 79.1、MT 32.8%、ML 18.2%、ID 781、FM 2008、FP 12852、FN 56668、Runtime 40 Hz を報告。
• 外観情報を活用することで、長い遮蔽を含む状況でもアイデンティティを維持する。
• GPU リソースが利用可能な場合、実時間利用に十分な速度で、特徴抽出に要する時間がおおよそ半分を占める。