[論文レビュー] Tracklet Association Tracker: An End-to-End Learning-based Association Approach for Multi-Object Tracking

Han Shen, Lichao Huang+2 more|arXiv (Cornell University)|Aug 5, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 38

ひとこと要約

本稿では、トラックレットを用いた二段階最適化定式化により特徴量学習とデータ関連付けを統合するエンドツーエンド学習ベースのマルチオブジェクトトラッキングフレームワーク、Tracklet Association Tracker (TAT) を提案する。深部度量学習、トラックレット生成、近似勾配に基づく学習を活用することで、TAT は従来手法よりも 20 倍以上高速な学習を実現し、MOT2016 および MOT2017 ベンチマークで最先端の性能を達成した。

ABSTRACT

Traditional multiple object tracking methods divide the task into two parts: affinity learning and data association. The separation of the task requires to define a hand-crafted training goal in affinity learning stage and a hand-crafted cost function of data association stage, which prevents the tracking goals from learning directly from the feature. In this paper, we present a new multiple object tracking (MOT) framework with data-driven association method, named as Tracklet Association Tracker (TAT). The framework aims at gluing feature learning and data association into a unity by a bi-level optimization formulation so that the association results can be directly learned from features. To boost the performance, we also adopt the popular hierarchical association and perform the necessary alignment and selection of raw detection responses. Our model trains over 20X faster than a similar approach, and achieves the state-of-the-art performance on both MOT2016 and MOT2017 benchmarks.

研究の動機と目的

• 従来の MOT 手法がアフィニティ学習とデータ関連付けを分離しており、手作業で設計された目的関数やコスト関数を必要としているという限界を解消すること。
• 特徴量学習とデータ関連付けを統合したエンドツーエンドで学習可能なフレームワークとして、MOTA などのトラッキング指標を直接最適化可能にする。
• トラックレット構築による運動的依存性の組み込みにより、長期トラッキングのロバスト性を向上させること。
• 二段階最適化フレームワークに近似勾配法を導入することで、学習を高速化し、収束安定性を向上させること。
• 提案されたアライメントと外れ値除去が、最新の検出器およびレガシーデテクタの両方の性能向上に寄与することを実証すること。

提案手法

• エンドツーエンドのバックプロパゲーションを用いて、特徴埋め込みと関連コストを同時に最適化する二段階最適化フレームワークを導入する。
• 検出応答から外観埋め込みを抽出するため、三重ネットワークを用いた深部度量学習を採用する。
• 外観および空間特徴に基づき、マルチレイヤーパーセプトロン (MLP) を用いて隣接する検出からトラックレットを生成する。
• 未定義のコストパラメータに対しても収束を保証するため、訓練の安定性を高めるために、新規の近似勾配法を適用する。
• トラックレット作成の前段階で、提案アライメントと選択を実施する階層的関連付け戦略を採用し、検出品質を向上させる。
• 深部特徴から得られる学習可能な単一コストおよびペairwiseコストを用いて、ネットワークフローによるグローバル最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたコスト関数と比較して、関連コストのエンドツーエンド学習がマルチオブジェクトトラッキング性能を向上させるか？
• RQ2 二段階最適化フレームワークにトラックレットを組み込むことで、特に遮蔽状況下でも長期トラッキングのロバスト性がどのように向上するか？
• RQ3 アライメントと外れ値除去が、さまざまな検出モデルにおいてどれほど性能向上に寄与するか？
• RQ4 二段階最適化における近似勾配法が、正確な方法と比較して、より高速かつ安定した学習を可能にするか？
• RQ5 学習された特徴量と統合的最適化が、従来の二段階アプローチと比較して、MOTA を向上させるか？

主な発見

• TAT は MOT2016 で 67.4、MOT2017 で 59.7 の最先端 MOTA を達成し、従来手法を上回った。
• 近似勾配法のおかげで、Schulter 他 [29] に基づく類似したエンドツーエンド手法と比較して、学習が 20 倍以上高速になった。
• ウィンドウサイズが 30 フレームを超えると、[NETFLOW] および TAT ともに性能が著しく低下するが、[E2EP] は安定した手作業による単一コストのおかげでロバスト性を維持した。
• トラックレット長さに重みを付ける（TL）ことで、MOTA が 35.9 から 36.9 に向上し、より長いトラックレットがトラッキング精度に寄与することが確認された。
• TL と TG 重み付けを併用すると最良の性能（MOTA 37.0）が得られ、IDS は 69 から 75 に、FP は 378 から 388 に減少した。
• アブレーションスタディの結果、最新および旧式の検出器の両方において、提案アライメントと選択が、特に誤検出の低減に寄与することが確認された。