[論文レビュー] Learning Deep Multi-Level Similarity for Thermal Infrared Object Tracking

Qiao Liu, Xin Li+4 more|arXiv (Cornell University)|Jun 9, 2019

Video Surveillance and Tracking Methods参考文献 45被引用数 11

ひとこと要約

本稿では、マルチレベルの類似性——グローバルな意味的特徴とローカルな構造的特徴を統合——を学習するシアンプスネットベースのトラッカー、MLSSNetを提案する。相対エントロピーに基づく適応的アンサンブルを用いて類似性を統合し、新たに構築された大規模なTIRデータセットで訓練することで、VOT-TIR2015およびVOT-TIR2017ベンチマークで最先端の性能を達成し、干渉要因に対する識別能力が著しく向上する。

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers only use semantic features to describe the TIR object, which lack the sufficient discriminative capacity for handling distractors. This becomes worse when the feature extraction network is only trained on RGB images.To address this issue, we propose a multi-level similarity model under a Siamese framework for robust TIR object tracking. Specifically, we compute different pattern similarities on two convolutional layers using the proposed multi-level similarity network. One of them focuses on the global semantic similarity and the other computes the local structural similarity of the TIR object. These two similarities complement each other and hence enhance the discriminative capacity of the network for handling distractors. In addition, we design a simple while effective relative entropy based ensemble subnetwork to integrate the semantic and structural similarities. This subnetwork can adaptive learn the weights of the semantic and structural similarities at the training stage. To further enhance the discriminative capacity of the tracker, we construct the first large scale TIR video sequence dataset for training the proposed model. The proposed TIR dataset not only benefits the training for TIR tracking but also can be applied to numerous TIR vision tasks. Extensive experimental results on the VOT-TIR2015 and VOT-TIR2017 benchmarks demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods.

研究の動機と目的

• RGBデータで訓練された単一の意味的特徴に依存する既存の深層TIRトラッカーの識別能力が限定的であるという問題に対処する。
• テクスチャや色の手がかりが不足するため、オクルージョン、外観変化、干渉要因に起因する課題を克服する。
• シアンプスフレームワーク内でのグローバルな意味的特徴とローカルな構造的特徴の両方の類似性を学習することで、特徴表現を強化する。
• モデルの訓練の堅牢性と一般化能力を向上させるために、手動でアノテートされた大規模なTIR動画データセットを構築する。
• マルチレベル類似性統合と適応的重み付けを用いて、標準的なTIR追跡ベンチマークで最先端の性能を達成する。

提案手法

• 深層畳み込み層で意味的類似性を計算し、初期層で構造的類似性を計算するマルチレベル類似性ネットワークを提案する。これにより、グローバルおよびローカルなパターンを捉える。
• TIRオブジェクトペア間のローカルな構造的パターンを抽出・比較するための構造的相関類似性ネットワーク（CSN）を設計する。
• 高レベル特徴を用いてグローバルな意味的類似性を計算するための意味的CSNを設計する。
• トレーニング中に意味的類似性と構造的類似性の最適な統合重みを学習する相対エントロピーに基づく適応的アンサンブルネットワーク（REN）を導入する。
• 430本の動画、18万フレーム以上、20万以上のバウンディングボックスを含む、最初の大規模なTIR動画データセットを構築する。
• 新しいTIRデータセットを用いてシアンプスネットワークをエンドツーエンドで訓練し、特徴の識別性とトラッカーの堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 意味的特徴と構造的特徴を統合するマルチレベル類似性学習は、TIRオブジェクト追跡における識別能力を向上させることができるか？
• RQ2 適応的かつ学習可能なメカニズムによる意味的類似性と構造的類似性の統合は、困難な条件下でのトラッカー性能を向上させるか？
• RQ3 RGBデータでの事前学習と比較して、専用の大規模TIRデータセットで学習させることで、どの程度トラッカーの堅牢性が向上するか？
• RQ4 オクルージョン、外観変化、干渉要因といった多様な課題下で、提案手法は標準ベンチマークでどの程度の性能を示すか？
• RQ5 複数の評価指標において、提案手法は最先端のTIRトラッカーを上回る正確性と堅牢性を達成できるか？

主な発見

• 提案されたMLSSNetは、VOT-TIR2017ベンチマークでEAOスコア0.637を達成し、比較対象のすべての最先端手法を上回った。
• VOT-TIR2015では、EAOが0.603を記録し、複雑な追跡課題の処理において優れた性能を示した。
• VOT-TIR2017のダイナミクス変化およびエアーチャレンジにおいて、最高の性能を達成した。新しいTIRデータセットで学習した場合、EAOスコアが3%向上した。
• モーション変化の課題では、VOT-TIR2017でCFNet比でEAOが5%向上し、VOT-TIR2015では3%向上した。これは、モーションに対する耐性が向上したことを示している。
• サイズ変化の課題では、VOT-TIR2015でSiamese-FC比でEAOが18%向上し、VOT-TIR2017でも5%向上した。これは、スケール変化に対する強力な耐性を示している。
• 可視化結果から、MLSSNetが深刻な外観変化や干渉要因の影響下でも正確な追跡を維持でき、Siamese-FCやHSSNetを上回っていることが確認された。