[論文レビュー] Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association

Young-Chul Yoon, Du Yong Kim+3 more|arXiv (Cornell University)|Jul 1, 2019

Video Surveillance and Tracking Methods参考文献 51被引用数 12

ひとこと要約

本論文は、深層時系列外観マッチングを用いた共同推論ネットワーク（JI-Net）を備えた、新しいオンライン多人数追跡手法であるDeep-TAMAを提案する。この手法は、アイデンティティの一貫性を向上させ、IDスイッチングを低減することで、遮蔽や運動変化に強い追跡を実現する。ペアワイズ特徴比較と階層的初期化を活用することで、遮蔽や運動変化下でも外観モデリングを強化し、MOTChallenge 2019のオンライン追跡ベンチマークで3位を達成した。

ABSTRACT

In online multi-target tracking, modeling of appearance and geometric similarities between pedestrians visual scenes is of great importance. The higher dimension of inherent information in the appearance model compared to the geometric model is problematic in many ways. However, due to the recent success of deep-learning-based methods, handling of high-dimensional appearance information becomes feasible. Among many deep neural networks, Siamese network with triplet loss has been widely adopted as an effective appearance feature extractor. Since the Siamese network can extract the features of each input independently, one can update and maintain target-specific features. However, it is not suitable for multi-target settings that require comparison with other inputs. To address this issue, we propose a novel track appearance model based on the joint-inference network. The proposed method enables a comparison of two inputs to be used for adaptive appearance modeling and contributes to the disambiguation of target-observation matching and to the consolidation of identity consistency. Diverse experimental results support the effectiveness of our method. Our work was recognized as the 3rd-best tracker in BMTT MOTChallenge 2019, held at CVPR2019. The code is available at https://github.com/yyc9268/Deep-TAMA.

研究の動機と目的

• シアンペアネットワークがオンライン多人数追跡において、ペアワイズ比較に基づく外観の適応的モデリングに失敗することに起因する限界を是正すること。
• オンライン設定下で、ターゲット固有の外観モデリングをサポートできない共同推論ネットワーク（JI-Net）の欠陥を克服すること。
• 時系列外観マッチングと階層的初期化を統合することで、遮蔽、運動変化、低フレームレート下でも追跡のロバスト性を向上させること。
• 公開ベンチマークにおいて、オンライン多人数追跡で最先端のパフォーマンスを達成すること。

提案手法

• 2つの歩行者パッチを同時に処理する共同推論ネットワーク（JI-Net）を提案し、類似度スコアを計算することで、ペアワイズ比較による適応的外観モデリングを可能にする。
• 時間的文脈を活用し、フレーム間の特徴の識別性を向上させるため、C-TAMA（Contextual Temporal Appearance Matching Association）を導入する。
• データ駆動型アプローチを用いて形状と外観特徴を統合することでDeep-TAMAを構築し、特徴間の相互独立性を低減し、ロバスト性を向上させる。
• 階層的初期化を採用することで、追跡の柔軟性を向上させ、初期検出誤差への感受性を低減する。
• 初期特徴抽出には三重組み合わせ損失を用いたシアンペアネットワークを適用し、その後、より精緻な外観マッチングのためにJI-Netを用いる。
• 長期間にわたる外観情報の保持を図るため、生のテンプレート履歴を3次元テンソルとして維持する。これにより、長期的なアイデンティティの一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 共同推論ネットワークをオンライン多人数追跡に適応させることで、動的でペアワイズの外観比較が可能となり、アイデンティティの一貫性が向上するか？
• RQ2 時系列外観マッチングを統合することで、遮蔽や運動変化下での追跡のロバスト性がどのように向上するか？
• RQ3 階層的初期化と特徴の分離処理が、追跡の柔軟性を向上させ、IDスイッチングをどれほど低減できるか？
• RQ4 データ駆動型の外観特徴と形状特徴の統合は、従来のシアンペアベースの外観モデルを上回る性能を発揮するか？
• RQ5 低フレームレートおよび困難な現実世界シナリオ下での本手法のパフォーマンスはいかがなものか？

主な発見

• 提案されたDeep-TAMAトラッカーは、CVPR 2019のオンライン多人数オブジェクト追跡チャレンジで3位を達成し、公開ベンチマークで最先端のパフォーマンスを示した。
• 特に大型の障害物による長期的遮蔽が生じるGIST-Treeシーケンスにおいても、遮蔽や混雑状態下でIDスイッチングを顕著に低減した。
• 定性的な結果から、色分けされたIDと軌跡線を用いた検証により、部分的または完全に遮蔽された状態でも一貫した追跡が可能であることが確認された。
• 外観の曖昧さに強く、特に外観が類似している場合や急激に移動する場合でも、従来のシアンペアベース手法を上回る性能を示した。
• 失敗事例は主に低フレームレート（5 FPS）に起因しており、急激な運動変化やターゲットの即時消失により一時的なIDスイッチングが生じるため、時間サンプリングに感受性があることが示された。
• 3次元テンプレートの保存に伴うメモリおよび計算コストの増加にもかかわらず、カーブ、交差点、複雑な遮蔽を含む多様なシーンで安定したパフォーマンスを維持した。