[論文レビュー] Tracking The Untrackable: Learning To Track Multiple Cues with Long-Term Dependencies

Amir Sadeghian, Alexandre Alahi+1 more|arXiv (Cornell University)|Jan 8, 2017

Video Surveillance and Tracking Methods参考文献 53被引用数 15

ひとこと要約

本論文は、長時間にわたる時間的ウィンドウ内で外観、運動、相互作用の手がかりを統合的にモデル化するため、再帰的ニューラルネットワーク（RNN）アーキテクチャを活用したエンドツーエンドのオンラインマルチターゲットトラッキング手法を提案する。この手法は、遮蔽や混雑したシーンにおけるトラッキングのロバスト性を顕著に向上させる。複数のベンチマークで最先端の性能を達成しており、先行手法と比較してMOTAが20%向上している。

ABSTRACT

The majority of existing solutions to the Multi-Target Tracking (MTT) problem do not combine cues in a coherent end-to-end fashion over a long period of time. However, we present an online method that encodes long-term temporal dependencies across multiple cues. One key challenge of tracking methods is to accurately track occluded targets or those which share similar appearance properties with surrounding objects. To address this challenge, we present a structure of Recurrent Neural Networks (RNN) that jointly reasons on multiple cues over a temporal window. We are able to correct many data association errors and recover observations from an occluded state. We demonstrate the robustness of our data-driven approach by tracking multiple targets using their appearance, motion, and even interactions. Our method outperforms previous works on multiple publicly available datasets including the challenging MOT benchmark.

研究の動機と目的

• 従来のマルチターゲットトラッキング（MTT）手法が長期間の時間的依存関係をモデル化できず、複数の手がかりを一貫して統合できないという限界を解決すること。
• 長期間の遮蔽や外観の曖昧さといった困難な状況下でのデータ関連付けと再識別を改善すること。
• 手作業による特徴量を用いずに、外観、運動、相互作用の手がかりを統合的に推論できるエンドツーエンドでオンライン学習可能なフレームワークを開発すること。
• 実世界のトラッキング条件下で、MOT やスタンフォードドローンデータセットといった標準ベンチマークで、既存手法を上回ること。

提案手法

• 本手法は、LSTMを用いた外観モデル、運動モデル、相互作用モデルを含むRNNアーキテクチャを採用し、それぞれが1つの手がかりを時間的に処理する。
• 各RNNコンponentは時間的表現を学習する：外観RNNは事前学習済みのCNNを用いて特徴量を抽出し、対照的損失を介して類似度メトリクスを学習する。
• 運動モデルと相互作用モデルは、別個のLSTMを用いて、長期間にわたるターゲットの軌道と社会的相互作用を符号化する。
• 中央のターゲットLSTMは、外観、運動、相互作用の3つの手がかりからの表現を統合し、類似度スコアのための統合的で文脈に配慮した埋め込み表現を生成する。
• 全フレームワークは、外観用の対照的損失とデータ関連付け用のトラッキング損失を用いてエンドツーエンドで学習され、将来のフレームにアクセスせずにオンライン推論が可能になる。
• 統合表現から得られる類似度スコアは、検出結果を複数フレームに跨って関連付けるトラッキング・バイ・検出パイプラインに使用される。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、外観、運動、相互作用といった複数の手がかりに対して、長期間の依存関係を効果的にモデル化できるか？
• RQ2 複数の手がかりを統合的に推論することで、遮蔽や混雑したシーンにおけるデータ関連付けの正確性が向上するか？
• RQ3 エンドツーエンドでオンライン学習可能なRNNベースのアーキテクチャは、MTTベンチマークで手作業による類似度関数を上回るか？
• RQ4 外観、運動、相互作用の各手がかりが、個別および統合的にトラッキング性能にどの程度寄与するか？

主な発見

• 2D MOT2015テストセット（公開検出結果を用いて）では、37.6%のMOTAを達成し、すべての先行オンライントラッカーを上回った。
• MOT16ベンチマークでは、47.2%のMOTAを達成し、オンライントラッカーとして第1位となり、前回の最先端手法を20ポイントも上回った。
• アブレーションスタディの結果、外観、運動、相互作用の3つの手がかりを統合した場合に最も高いMOTA（37.6%）が得られ、遮蔽状況下では運動と相互作用の手がかりが性能向上に顕著に寄与した。
• 外観特徴抽出器は、CUHK03再識別ベンチマークで55.9%のRank-1精度を達成し、最先端手法と同等の性能を示した。
• スタンフォードドローンデータセットにおける定性的な結果では、MDP+SF-mcなどの先行手法と比較して、IDスイッチの数が少なく、特に遮蔽時においても一貫性のあるトラッキングが実現した。
• モデルは優れた汎化性能を示し、ターゲットLSTMがすべての手がかりを効果的に統合することで、複雑で動的な環境下でのロバスト性が向上した。