[論文レビュー] Large Margin Structured Convolution Operator for Thermal Infrared Object Tracking

Peng Gao, Yipeng Ma+4 more|arXiv (Cornell University)|Apr 19, 2018

Video Surveillance and Tracking Methods参考文献 33被引用数 5

ひとこと要約

本稿では、構造的出力SVM（SOSVM）の識別力と特徴的相関フィルタ（DCF）の効率性を統合する、新規の熱赤外（TIR）オブジェクト追跡手法である Large Margin Structured Convolution Operator（LMSCO）を提案する。事前学習済みネットワークから得られる深層外見および運動特徴を活用し、連続的特徴マップのための空間正則化と暗黙的補間を適用し、オンライン共同最適化戦略を用いることで、LMSCOはVOT-TIR2015およびVOT-TIR2016ベンチマークで最先端の精度と耐障害性を達成し、高いフレームレートを実現する。

ABSTRACT

Compared with visible object tracking, thermal infrared (TIR) object tracking can track an arbitrary target in total darkness since it cannot be influenced by illumination variations. However, there are many unwanted attributes that constrain the potentials of TIR tracking, such as the absence of visual color patterns and low resolutions. Recently, structured output support vector machine (SOSVM) and discriminative correlation filter (DCF) have been successfully applied to visible object tracking, respectively. Motivated by these, in this paper, we propose a large margin structured convolution operator (LMSCO) to achieve efficient TIR object tracking. To improve the tracking performance, we employ the spatial regularization and implicit interpolation to obtain continuous deep feature maps, including deep appearance features and deep motion features, of the TIR targets. Finally, a collaborative optimization strategy is exploited to significantly update the operators. Our approach not only inherits the advantage of the strong discriminative capability of SOSVM but also achieves accurate and robust tracking with higher-dimensional features and more dense samples. To the best of our knowledge, we are the first to incorporate the advantages of DCF and SOSVM for TIR object tracking. Comprehensive evaluations on two thermal infrared tracking benchmarks, i.e. VOT-TIR2015 and VOT-TIR2016, clearly demonstrate that our LMSCO tracker achieves impressive results and outperforms most state-of-the-art trackers in terms of accuracy and robustness with sufficient frame rate.

研究の動機と目的

• 色のパターンの欠如や低解像度といったTIRオブジェクト追跡の限界を、深層特徴と頑健な学習フレームワークを活用することで克服すること。
• 高次元の深層外見および運動特徴を統合することで、熱赤外における追跡性能を向上させること。
• SOSVMの計算ボトル neck を解消するため、効率的なDCFフレームワークと統合することで、リアルタイム推論を可能にすること。
• 同時に追跡精度と速度を向上させる共同最適化戦略の開発

提案手法

• SOSVMの識別力とDCFの計算効率性を統合する Large Margin Structured Convolution Operator（LMSCO）を提案する。
• 空間正則化と暗黙的補間を用いて、TIRシーケンスから連続的で高品質な深層特徴マップを生成する。
• 可視画像で事前学習されたCNNを活用し、TIR追跡用に深層外見および運動特徴を抽出することで、より豊かな表現を可能にする。
• SOSVMフレームワーク内に巡回行列と相関フィルタを導入し、密サンプリングを伴う高速でオンライン学習を実現する。
• 推論中に追跡演算子を効率的に更新するためのオンライン共同最適化戦略を導入する。
• 深層外見および運動特徴を併用することで、低テクスチャ・低解像度のTIR環境における特徴の多様性と耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SOSVMとDCFフレームワークの統合により、熱赤外オブジェクト追跡における精度と速度が向上するか？
• RQ2 事前学習済み可視ドメインネットワークから抽出された深層外見および運動特徴は、TIR追跡においてどの程度効果的か？
• RQ3 空間正則化と暗黙的補間は、低解像度TIRシーケンスにおける深層特徴マップの品質を向上させるか？
• RQ4 オンライン共同最適化戦略は、TIR追跡における性能と推論速度を顕著に向上させるか？
• RQ5 提案手法は、標準的なTIRベンチマークにおいて、精度、耐障害性、フレームレートの観点で最先端のトラッカーを上回るか？

主な発見

• LMSCOはVOT-TIR2016ベンチマークでEAOスコア42.8%を達成し、前回のSOTAトラッカーであるSRDCF（36.4%）を6.4%の絶対的差で上回った。
• VOT-TIR2016における平均、プールド、重み付き平均ARプロットのすべての評価指標で、最高の精度と耐障害性を示した。
• MDNet、SRDCF、Staple、GGT2を含む9つの最先端トラッカーと比較して、すべての評価プロトコルで優れた性能を発揮した。
• 深層外見および運動特徴の統合は、単一特徴ベースラインやハンドクラフト特徴と比較して、追跡性能を顕著に向上させた。
• 提案された共同最適化戦略により、高精度と耐障害性を維持したまま、リアルタイム追跡と高いフレームレートを実現した。
• 図1の可視化比較では、'hiding'や'quadrocopter'といった挑戦的なシーケンスにおいて、LMSCOがよりタイトで一貫性のあるバウンディングボックスを維持していることが示された。