[論文レビュー] Multiple Target Tracking by Learning Feature Representation and Distance Metric Jointly

Jun Xiang, Guoshuai Zhang+3 more|arXiv (Cornell University)|Feb 9, 2018

Video Surveillance and Tracking Methods参考文献 10被引用数 12

ひとこと要約

本論文は、複数対象追跡（MTT）のための統合的深層学習フレームワークを提案する。このフレームワークは、三重項損失を用いて外観と運動特徴表現を同時に学習し、エンド・トゥ・エンドのメトリック学習を可能にする。Person Re-IDスタイルの外観特徴を抽出するためのCNNと、運動予測を行うためのLSTMを組み合わせることで、線形割り当て戦略のみを用いてもMOT16ベンチマークで最先端の性能を達成する。

ABSTRACT

Designing a robust affinity model is the key issue in multiple target tracking (MTT). This paper proposes a novel affinity model by learning feature representation and distance metric jointly in a unified deep architecture. Specifically, we design a CNN network to obtain appearance cue tailored towards person Re-ID, and an LSTM network for motion cue to predict target position, respectively. Both cues are combined with a triplet loss function, which performs end-to-end learning of the fused features in a desired embedding space. Experiments in the challenging MOT benchmark demonstrate, that even by a simple Linear Assignment strategy fed with affinity scores of our method, very competitive results are achieved when compared with the most recent state-of-theart approaches.

研究の動機と目的

• 遮蔽、照明変化、外観変動が生じる複雑な追跡シナリオにおける従来の手作業特徴の限界を解消する。
• MTTにおいて直接使用される深層CNN特徴の識別能が不十分であるという問題を、メトリック学習の統合により克服する。
• 特徴表現と距離メトリックを同時に最適化する統合的深層アーキテクチャを設計し、データ関連付けの改善を図る。
• エンド・トゥ・エンド学習による三重項損失が、追跡の類似度モデリングにおいて検証損失を上回ることを示す。
• 単純な線形割り当て戦略を用いても、提案された埋め込み空間の有効性を示す、競争力のある結果を達成する。

提案手法

• 検出領域から頑健な外観特徴を抽出するため、person Re-identificationに特化したCNNを採用する。
• 時間的運動パターンをモデル化し、ターゲット位置を予測することで、運動キューの抽出にLSTMネットワークを用いる。
• 共有された深層ネットワークアーキテクチャを用いて、外観と運動特徴を統合された埋め込み空間に統合する。
• 同一ターゲット間の距離を最小化し、異なるターゲット間の距離を最大化する三重項損失関数でネットワークを学習する。
• エンド・トゥ・エンド最適化により、埋め込み空間がメトリックベースの関連付けに内在的に最適化されるようにする。
• データ関連付けにおける線形割り当ての類似度スコアとして、埋め込み間のユークリッド距離を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴表現と距離メトリックの共同学習が、複雑なMOTシナリオにおける追跡性能を向上させることができるか？
• RQ2 三重項損失に基づくメトリック学習は、検証損失と比較して追跡精度と頑健性において優れているか？
• RQ3 遮蔽や外観変動下において、外観と運動キューが追跡性能にどの程度寄与しているか？
• RQ4 単純な線形割り当て戦略と組み合わせた深層メトリック学習により、競争力のある結果が得られるか？
• RQ5 標準ベンチマークにおけるMOTAとMOTPの観点から、本フレームワークは最先端のMTT手法と比較してどの程度優れているか？

主な発見

• 提案手法はMOT16テストセットで44.3%のMOTAを達成し、線形割り当て戦略のみを用いてもトップクラスのトラッカーにランクインする。
• 三重項損失は検証損失よりも17–23%高い追跡性能を示し、MTTにおけるメトリック学習の優位性を裏付ける。
• 外観特徴が性能向上に最も寄与しており、混雑した状況や遮蔽下では運動キューが補完的利点を提供する。
• アブレーションスタディにより、外観・運動・三重項損失の組み合わせが最良の性能（23.00% MOTA）を達成することが確認され、検証損失を用いたモデルを上回る。
• A+M+T条件下では23.00% MOTAを達成するが、A+V構成では16.2%にとどまり、三重項損失の重要性が顕著に示される。
• Quad-CNN（0.2 MOTA向上）と同等の結果を達成し、IDSやFPなどの主要指標においてLMP や AMIR などの他の最先端手法を上回る。