[論文レビュー] Multi-Task Driven Feature Models for Thermal Infrared Tracking

Qiao Liu, Xin Li+5 more|arXiv (Cornell University)|Nov 26, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 8

ひとこと要約

本稿では、熱赤外線（TIR）オブジェクト追跡のためのマルチタスク駆動型特徴学習フレームワークを提案する。分類ブランチを通じてTIR特有の判別的特徴を導入し、包括的かつピクセルレベルの相関モジュールによって微細な相関特徴を学習する。新しく構築された大規模TIRデータセットを用いて、VOT-TIR2015、VOT-TIR2017、PTB-TIRベンチマークでベースライントラッカーおよび最先端手法を10%相対的に上回る性能を達成する。

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers usually use the feature models of RGB trackers for representation. However, these feature models learned on RGB images are neither effective in representing TIR objects nor taking fine-grained TIR information into consideration. To this end, we develop a multi-task framework to learn the TIR-specific discriminative features and fine-grained correlation features for TIR tracking. Specifically, we first use an auxiliary classification network to guide the generation of TIR-specific discriminative features for distinguishing the TIR objects belonging to different classes. Second, we design a fine-grained aware module to capture more subtle information for distinguishing the TIR objects belonging to the same class. These two kinds of features complement each other and recognize TIR objects in the levels of inter-class and intra-class respectively. These two feature models are learned using a multi-task matching framework and are jointly optimized on the TIR tracking task. In addition, we develop a large-scale TIR training dataset to train the network for adapting the model to the TIR domain. Extensive experimental results on three benchmarks show that the proposed algorithm achieves a relative gain of 10% over the baseline and performs favorably against the state-of-the-art methods. Codes and the proposed TIR dataset are available at {https://github.com/QiaoLiuHit/MMNet}.

研究の動機と目的

• RGBベースの深層特徴がTIR追跡においてTIR特有のオブジェクト表現に不適切であるという限界を解消する。
• 異なるTIRオブジェクトカテゴリ間の区別を高めるために、クラス間およびクラス内オブジェクトを区別できる特徴を学習することで、TIR追跡における判別能力を向上させる。
• TIR特有の判別的特徴と微細な相関特徴を同時に最適化するマルチタスク学習フレームワークを構築し、追跡のロバストネスを向上させる。
• 30クラス、1,100以上のシーケンス、450,000フレームを超えるアノテート済みフレームを含む大規模かつ高品質なTIR動画データセットを構築し、深層モデルのTIRドメインへの適応を促進する。

提案手法

• TIR特有の判別的特徴と微細な相関特徴の2つの補完的特徴学習ブランチを同時に最適化するマルチタスクマッチングフレームワークを設計する。
• TIR特有の判別的特徴の学習を支援するために補助的な分類ネットワークを用い、異なるTIRオブジェクトカテゴリ間の明確なクラス間区別を実現する。
• 微細な相関に配慮したネットワークを導入し、包括的相関モジュールとピクセルレベル相関モジュールを統合することで、クラス内区別に寄与する詳細な空間的関係を捉える。
• TIR特有の判別的特徴はマルチクラス分類損失により最適化され、微細な相関特徴はマルチタスクフレームワーク内のマッチング損失を通じて学習される。
• 30クラス、1,100以上のシーケンス、450,000フレーム、530,000個のアノテート済みバウンディングボックスを含む大規模TIRデータセットを構築し、TIRドメインにおけるモデルの効果的な学習を可能にする。
• 混合学習戦略を用いてモデルを訓練することで、事前学習にRGBデータを使用した場合でも優れた一般化性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、TIR特有の判別的特徴と微細な相関特徴を効果的に統合し、追跡性能を向上させることができるか？
• RQ2 提案されたTIR特有の特徴モデルは、RGB事前学習特徴と比較して、熱赤外線データにおける判別力に優れているか？
• RQ3 大規模かつドメイン特化型のTIRデータセットは、深層TIRトラッカーの一般化性能およびロバストネスをどの程度向上させるか？
• RQ4 遮蔽や外観変化といった困難な条件下でも、提案手法は最先端のマッチングベースおよび相関フィルタベースのTIRトラッカーを上回ることができるか？
• RQ5 微細な相関特徴の統合は、同じクラス内に存在する類似したノイズ要因を区別する能力を顕著に向上させるか？

主な発見

• 提案手法は、PTB-TIRベンチマークにおいてベースライントラッカー比で成功確率10%の相対的向上を達成し、顕著な改善を示した。
• VOT-TIR2017ではEAOスコア0.320を達成し、TCNN や ECO-deep を含むすべての最先端手法を上回った。
• VOT-TIR2015ではEAOスコア0.344を記録し、比較対象の全トラッカーの中で最高を記録し、優れたロバストネスを示した。
• PTB-TIRでは成功確率0.539、精度0.759を達成し、CFNetよりも相対的成功率で10%向上した。
• TIRデータを一切使用せずに訓練されたモデル（MMNet-VID）でさえ、CFNetより6%の成功確率向上を達成しており、マルチタスクアーキテクチャによる強力な一般化性能を示した。
• VOT-TIR2017の動的変化チャレンジではCFNet比でEAOスコア9.3%向上、カメラモーションチャレンジでは4.2%向上を達成し、より高いロバストネスを確認した。