[論文レビュー] UCT: Learning Unified Convolutional Networks for Real-time Visual Tracking

Zheng Zhu, Guan Huang+3 more|arXiv (Cornell University)|Nov 10, 2017

Video Surveillance and Tracking Methods被引用数 12

ひとこと要約

本論文は、完全畳み込みアーキテクチャを用いて特徴抽出とトラッキングを統合的に学習するエンドツーエンドでリアルタイムな視覚追跡フレームワーク、Unified Convolutional Networks (UCT) を提案する。特徴抽出とトラッキングの両方を同時に学習可能な畳み込み演算として扱うことで、UCT は OTB2015 および VOT2015 で最先端の精度を達成するとともに、標準UCTでは41 FPS、UCT-Liteでは154 FPSのリアルタイム速度を維持している。

ABSTRACT

Convolutional neural networks (CNN) based tracking approaches have shown favorable performance in recent benchmarks. Nonetheless, the chosen CNN features are always pre-trained in different task and individual components in tracking systems are learned separately, thus the achieved tracking performance may be suboptimal. Besides, most of these trackers are not designed towards real-time applications because of their time-consuming feature extraction and complex optimization details.In this paper, we propose an end-to-end framework to learn the convolutional features and perform the tracking process simultaneously, namely, a unified convolutional tracker (UCT). Specifically, The UCT treats feature extractor and tracking process both as convolution operation and trains them jointly, enabling learned CNN features are tightly coupled to tracking process. In online tracking, an efficient updating method is proposed by introducing peak-versus-noise ratio (PNR) criterion, and scale changes are handled efficiently by incorporating a scale branch into network. The proposed approach results in superior tracking performance, while maintaining real-time speed. The standard UCT and UCT-Lite can track generic objects at 41 FPS and 154 FPS without further optimization, respectively. Experiments are performed on four challenging benchmark tracking datasets: OTB2013, OTB2015, VOT2014 and VOT2015, and our method achieves state-of-the-art results on these benchmarks compared with other real-time trackers.

研究の動機と目的

• 事前学習済み特徴を用いる従来のCNNベーストラッカーの性能が最適でない問題に対処する。
• 特徴抽出と複雑な最適化が時間のかかるプロセスであるため、ディープトラッカーの非効率性を解消する。
• 特徴学習とトラッキングを1つのエンドツーエンドフレームワークに統合することで、高精度かつリアルタイムの視覚追跡を実現する。
• 効率的なオンラインモデル更新とスケール処理を導入し、速度を落とさずに耐障害性を維持する。
• 多くの先行研究とは異なり、リアルタイムで稼働しながらも標準ベンチマークで最先端の性能を達成する。

提案手法

• 特徴抽出器とトラッキングプロセスの両方を、統合的で完全畳み込み型のネットワークアーキテクチャ内での畳み込み演算として扱う。
• ネットワーク全体をエンドツーエンドで学習させ、CNN特徴がジョイント最適化を通じてトラッキングタスクに密に統合されるようにする。
• 推論中に効率的なオンラインモデル更新を実現するため、ピーク対ノイズ比（PNR）基準を導入する。
• 追加の計算コストや外部モジュールを必要とせず、スケール変化を処理するためのスケールブランチをネットワークに統合する。
• 1パスの順伝播によって全応答マップを予測することで、高速な推論とリアルタイム性能を実現する。
• 速度と精度のトレードオフに対応する2つのバージョンを設計：標準UCT（ResNet-101バックボーン）とUCT-Lite（ZF-Netバックボーン）。

実験結果

リサーチクエスチョン

• RQ1 特徴抽出器とトラッカーを別々に学習するのではなく、統合的畳み込みネットワークをエンドツーエンドで学習することで、トラッキング精度が向上するか？
• RQ2 統合的ネットワークアーキテクチャは、最先端の性能を達成しながらもリアルタイムの推論速度を維持できるか？
• RQ3 PNRに基づくオンライン更新戦略は、長時間にわたるトラッキングにおいてトラッカーの耐障害性を効果的に維持できるか？
• RQ4 ネットワーク内に統合されたスケールブランチは、速度や精度を低下させることなく、スケール変化を効果的に処理できるか？
• RQ5 統合的学習パラダイムは、トラッキングタスクに特化したより優れた特徴表現を生み出すか？

主な発見

• OTB2015 においてUCTは 0.611 のサクセススコアを達成し、SiamFC（0.582）および Staple（0.581）を大きく上回った。
• VOT2014 では正確な初期化下で精度と耐障害性の両面で2位を記録し、GOTURN、SiamFC、Staple の3つのリアルタイムトラッカーを耐障害性で上回った。
• VOT2015 ではEAOスコアが 0.445 で全体で7位にランクされ、5 FPS 以上の速度で動作する唯一の上位性能トラッカーであった。
• 標準UCTは一般物体でさらに最適化を行わずとも41 FPS、UCT-Lite は154 FPS で動作し、強力なリアルタイム性能を示した。
• OTB2015 における詳細な分析から、照明の変化、遮蔽、スケール変化といった困難な属性に対してもUCTは効果的に対処できた。
• アブレーションスタディの結果、エンドツーエンド学習とPNRに基づく更新戦略が、トラッキング性能と安定性を顕著に向上させたことが確認された。