[論文レビュー] State-aware Re-identification Feature for Multi-target Multi-camera Tracking

Peng Li, Jiabin Zhang+4 more|arXiv (Cornell University)|Jun 4, 2019

Video Surveillance and Tracking Methods参考文献 65被引用数 4

ひとこと要約

本稿は、人体ポーズ情報を利用して遮蔽状態と向きを推定することで、外見特徴のロバスト性を向上させる状態認識再識別（Re-ID）特徴を、マルチターゲットマルチカメラトラッキング（MTMCT）に提案する。クラスタベース、向きに敏感な、時間的有効性の特徴を統合したロバストなトラッキング特徴と、再設計された距離行列を用いたトラックレット連携により、DukeMTMCTのハードシーケンスで81.3%の IDF1 を達成し、これまでのあらゆる手法を上回る性能を発揮する。

ABSTRACT

Multi-target Multi-camera Tracking (MTMCT) aims to extract the trajectories from videos captured by a set of cameras. Recently, the tracking performance of MTMCT is significantly enhanced with the employment of re-identification (Re-ID) model. However, the appearance feature usually becomes unreliable due to the occlusion and orientation variance of the targets. Directly applying Re-ID model in MTMCT will encounter the problem of identity switches (IDS) and tracklet fragment caused by occlusion. To solve these problems, we propose a novel tracking framework in this paper. In this framework, the occlusion status and orientation information are utilized in Re-ID model with human pose information considered. In addition, the tracklet association using the proposed fused tracking feature is adopted to handle the fragment problem. The proposed tracker achieves 81.3\% IDF1 on the multiple-camera hard sequence, which outperforms all other reference methods by a large margin.

研究の動機と目的

• 遮蔽や外見のばらつきによって引き起こされるアイデンティティスイッチとトラックレット断片化を解消すること。
• 検出器が低品質な検出を出力する混雑したシーンにおけるRe-ID特徴の信頼性を向上させること。
• 遮蔽状態と向きの手がかりをRe-ID特徴学習プロセスに組み込むことで、軌跡の整合性を向上させること。
• クラスタベース、向きに敏感な、時間的有効性の特徴を統合したロバストな統合トラッキング特徴を設計し、安定したデータ関連付けを実現すること。
• 特に困難なハードシーケンスにおいて、DukeMTMCTベンチマークで最先端の性能を達成すること。

提案手法

• 人体ポーズ推定を用いて、遮蔽状態や向きを含むターゲット状態を推定し、Re-ID特徴抽出をガイドする。
• 現在有効なRe-ID特徴、トラックレットからのクラスタベース特徴、向きに敏感な特徴を統合したトラッキング特徴を導入する。
• 時間的有効性マスク（$f_{invalid}$）を適用し、重度に遮蔽されたフレームからの信頼性の低い特徴を抑制する。
• 状態認識特徴を組み込んだ、データ関連付けに適した新しい距離行列を設計する。
• オフラインでのトラックレット連携戦略を採用：まず短いトラックレットを生成し、その後補正・クラスタリングして断片化を解消する。
• 統合特徴距離行列に基づき、ハンガリアン法を用いてグローバルな軌跡マッチングを実行する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽状態と向きを効果的にモデル化することで、マルチカメラトラッキングにおけるRe-ID特徴の信頼性をどのように向上させられるか？
• RQ2 クラスタベース、向きに敏感な、時間的有効性の特徴を統合することで、トラッキング性能がどの程度向上するか？
• RQ3 状態認識特徴に基づいた再設計された距離行列は、アイデンティティスイッチと軌跡断片化をどの程度低減できるか？
• RQ4 提案されたトラックレット連携戦略は、遮蔽に対処する際、フレーム単位のオンライン連携と比べてどのように異なるか？
• RQ5 各コンponent（ポーズに基づく状態、クラスタ、向き、無効マスク）が最終的なトラッキング性能にどの程度寄与しているか？

主な発見

• 提案されたトラッカーは、DukeMTMCTのハードシーケンスで81.3%の IDF1 を達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、クラスタベース特徴を追加することで、ベースライン比で IDF1 が5.4%向上した。
• 向きに敏感な特徴を組み込むことで、クラスタのみのベースラインと比較して IDF1 がさらに2.6%向上した。
• 時間的無効特徴を追加することで、アイデンティティスイッチ（IDS）は6,564から5,466に減少し、IDF1 は0.1%向上した。
• 全コンponentsを備えたフルモデルは、trainval-miniセットで85.2%の IDF1 を達成し、状態認識Re-ID特徴の有効性を示した。
• 本手法は、ベンチマーク上で公表済みおよび未公表のあらゆる手法を上回り、特に混雑で遮蔽の多いシーンにおいてロバストであることを確認した。