[論文レビュー] Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification

Weitao Feng, Zhihao Hu+3 more|arXiv (Cornell University)|Jan 18, 2019

Video Surveillance and Tracking Methods参考文献 39被引用数 90

ひとこと要約

統一 MOT フレームワークを提案。SOT の短期手が ReID ネットワークの長期手とスイッチャー認識分類器を組み合わせてデータアソシエーションを改善し、アイデンティティスイッチを減らす。MOT16/17 ベンチマークで最先端の結果を達成。

ABSTRACT

In this paper, we propose a unified Multi-Object Tracking (MOT) framework learning to make full use of long term and short term cues for handling complex cases in MOT scenes. Besides, for better association, we propose switcher-aware classification (SAC), which takes the potential identity-switch causer (switcher) into consideration. Specifically, the proposed framework includes a Single Object Tracking (SOT) sub-net to capture short term cues, a re-identification (ReID) sub-net to extract long term cues and a switcher-aware classifier to make matching decisions using extracted features from the main target and the switcher. Short term cues help to find false negatives, while long term cues avoid critical mistakes when occlusion happens, and the SAC learns to combine multiple cues in an effective way and improves robustness. The method is evaluated on the challenging MOT benchmarks and achieves the state-of-the-art results.

研究の動機と目的

• 短期（SOTベース）と長期（ReIDベース）の手が robust MOT のために活用する。
• データアソシエーション時のアイデンティティスイッチを減らすスイッチャー-aware分類器を開発する。
• occlusions や false negatives に対処するための手の融合と適応的選択を統合する。
• MOT16 および MOT17 でアプローチを評価して最先端の性能を示す。

提案手法

• Siamese-RPN を SOT として用い、短期手を捉えSOTボックスとスコアを生成する。
• トラックレット履歴から長期外観特徴を抽出する ReID サブネット（GoogLeNet Inception-v4 ベース）を採用する。
• Switcher-aware classifier（SAC）を提案し、短期・長期手を融合し、スイッチャーの特徴を含め、検出をターゲットにマッチングする。
• TargetとDetections の二部グラフを SAC からのマッチングスコアで構築し、オンラインデータアソシエーションのために最小費用ネットワークフローで解く。
• 品質認識メカニズムを用いて過去のトラックレット画像を K 個選択し、長期手とする。正規化された ReID 特徴量で長期類似度を計算する。
• 品質ベースのトラックレット履歴と検出スコア精練を組み込み、ノイズ検出を緩和する。

実験結果

リサーチクエスチョン

• RQ1 MOT で短期と長期の手を効果的に組み合わせてデータアソシエーションを改善するには？
• RQ2 classifier にスイッチャー情報を組み込むとアイデンティティスイッチが減り IDF1 が改善されるか？
• RQ3 SOT と ReID を組み合わせて使うことと個別の使用で MOTA および ID 指標へ及ぶ影響は？
• RQ4 学習ベースのスイッチング意識的アプローチは MOT で従来のペアワイズアフィニティ法より優れているか？

主な発見

ベンチマーク	手法	MOTA	MOTP	IDF1	IDP	IDR	FP	FN	IDS
MOT16	Ours	44.8%	75.1%	53.8%	75.2%	41.8%	9639	90571	451
MOT16	Ours(with filter)	49.2%	74.0%	56.5%	77.5%	44.5%	7187	84875	606
MOT17	Ours	50.3%	76.8%	56.3%	76.5%	46.6%	21345	257062	1815
MOT17	Ours(with filter)	52.7%	76.2%	57.9%	76.3%	46.6%	22512	241936	2167
MOT16p	Ours	69.6%	78.5%	68.6%	77.1%	61.7%	9138	45497	768
MOT16p	Ours (with filter)	69.6%	78.5%	68.6%	77.1%	61.7%	9138	45497	768

• フレームワークは MOT16/MOT17 ベンチマークで競争力があるまたは最先端の MOTA と IDF1 を達成する。（正確な数字は結果表に記載されています。）
• 短期手は MOTA に顕著な利益をもたらし、長期手は IDF1 を大きく引き上げ、両者の組み合わせが全体性能を最も向上させる。
• Switcher-Aware Classifier（SAC）の導入でアイデンティティスイッチ（IDS）を大幅に削減し、IDF1 を改善し、MOTA には控えめな影響。
• SAC にブースティング決定木分類器を使用すると、他の分類器（NN, SVM）と比べて特徴次元が小さい場合により良い性能を提供。
• 品質認識のトラックレット履歴と検出スコアの精練はノイズ検出に対して頑健さを寄与。