[論文レビュー] Multiple People Tracking Using Hierarchical Deep Tracklet Re-identification

Maryam Babaee, Ali Athar+1 more|arXiv (Cornell University)|Nov 9, 2018

Video Surveillance and Tracking Methods参考文献 48被引用数 21

ひとこと要約

本論文は、複数人追跡のための階層的ディープトラックレット再識別フレームワークを提案し、マルチステージのディープネットワークを用いて視覚的外観と空間時間的特徴を同時にモデル化することで、長期的隠蔽の処理を改善する。この手法は制約付き最小コストマルチカット定式化を用いてトラックレットを階層的にクラスタリングし、MOT16およびMOT17で最先端の性能を達成し、MOTAが54.1%に達する。これは従来手法よりもそれぞれ4.8%および2.7%の向上を達成した。

ABSTRACT

The task of multiple people tracking in monocular videos is challenging because of the numerous difficulties involved: occlusions, varying environments, crowded scenes, camera parameters and motion. In the tracking-by-detection paradigm, most approaches adopt person re-identification techniques based on computing the pairwise similarity between detections. However, these techniques are less effective in handling long-term occlusions. By contrast, tracklet (a sequence of detections) re-identification can improve association accuracy since tracklets offer a richer set of visual appearance and spatio-temporal cues. In this paper, we propose a tracking framework that employs a hierarchical clustering mechanism for merging tracklets. To this end, tracklet re-identification is performed by utilizing a novel multi-stage deep network that can jointly reason about the visual appearance and spatio-temporal properties of a pair of tracklets, thereby providing a robust measure of affinity. Experimental results on the challenging MOT16 and MOT17 benchmarks show that our method significantly outperforms state-of-the-arts.

研究の動機と目的

• 検出レベルの関連付けではなく、トラックレットレベルの再識別を活用することで、複数人追跡における長期的隠蔽を扱うことを目的とする。
• 長時間の隠蔽や複雑なシーンで失敗するペairワイズ検出類似度手法の限界を克服することを目的とする。
• 視覚的外観と空間時間的ダイナミクスを統合的にモデル化することで、混雑で動的な環境における関連付け誤りを低減することを目的とする。
• 階層的クラスタリング戦略を用いて、カメラの動きや環境条件の変化にさらされても追跡のロバスト性を向上させることを目的とする。

提案手法

• マルチステージのディープニューラルネットワークを訓練し、トラックレットの視覚的外観と空間時間的特徴を同時に推論させ、手作業による特徴抽出の必要性を排除する。
• 深層ネットワークを用いてトラックレット類似度を計算し、データ関連付けに耐障害性の高い類似度測定値を生成する。
• フレームギャップの閾値を段階的に増加させながら、1、2、4から始めてトラックレット長の4倍までスケーリングする、反復的なトラックレットの統合を実行する階層的クラスタリング戦略を採用する。
• クラスタリングプロセスは、Kernighan-Lin with Joinsアルゴリズムの拡張を用いて制約付き最小コストマルチカット問題として定式化される。
• 反復処理においてフレームギャップ制約を動的に緩和することで、収束速度と隠蔽に対するロバスト性の両立を図る。
• 最終的なトラックレット割り当ては、断片化と誤検出を最小限に抑えるグラフベースの定式化によって最適化される。

実験結果

リサーチクエスチョン

• RQ1 トラックレットにおける視覚的外観と空間時間的特徴の統合モデリングが、隠蔽下でも長期的な追跡性能を顕著に向上させることができるか？
• RQ2 複雑で混雑したシーンにおいて、1段階の検出またはトラックレット関連付けよりも、階層的トラックレットクラスタリングが優れているか？
• RQ3 エンドツーエンドのディープネットワークが、カメラパラメータや動きの変化に一般化できるように、手作業による空間時間的特徴を置き換えられるか？
• RQ4 適応的フレームギャップ緩和を備えた本手法のクラスタリング方式が、追跡精度とロバスト性にどのように影響を与えるか？
• RQ5 最先端のトラッカーと比較して、本手法がIDスイッチと軌跡断片化をどの程度低減できるか？

主な発見

• 提案されたトラッカーはMOT17ベンチマークで54.1%のMOTAを達成し、前回の最先端手法よりも2.7%の向上を示した。
• MOT16ベンチマークでは54.1%のMOTAを達成し、前回の最良手法よりも4.8%の絶対的向上を達成した。
• MOT17では誤検出（18,002件）と誤検出漏れ（238,818件）の数が最少であり、検出関連付けの優れた性能を示した。
• MOT17では「ほとんど追跡済み」（MT）ターゲットの割合が23.3%で最高を記録し、「ほとんど紛失」（ML）率は34.8%で最低を記録した。これは優れた隠蔽処理能力を示している。
• MOT17ではIDスイッチを2,693件に低減したが、これはアイデンティティの一貫性が向上したことを示唆するが、カメラの高動的移動下では依然として課題が残る。
• アブレーションスタディの結果、外観と空間時間的特徴の統合学習が、分離された特徴設計と統合戦略を上回ることが確認された。