[論文レビュー] DCFNet: Discriminant Correlation Filters Network for Visual Tracking

Qiang Wang, Jin Gao+3 more|arXiv (Cornell University)|Apr 13, 2017

Video Surveillance and Tracking Methods参考文献 21被引用数 275

ひとこと要約

DCFNetは、畳み込み特徴を学習し、Siamese風構造内に判別型相関フィルター層を組み込むエンドツーエンドのネットワークを導入し、リアルタイム追跡（>60 FPS）と競争力のある精度を実現します。

ABSTRACT

Discriminant Correlation Filters (DCF) based methods now become a kind of dominant approach to online object tracking. The features used in these methods, however, are either based on hand-crafted features like HoGs, or convolutional features trained independently from other tasks like image classification. In this work, we present an end-to-end lightweight network architecture, namely DCFNet, to learn the convolutional features and perform the correlation tracking process simultaneously. Specifically, we treat DCF as a special correlation filter layer added in a Siamese network, and carefully derive the backpropagation through it by defining the network output as the probability heatmap of object location. Since the derivation is still carried out in Fourier frequency domain, the efficiency property of DCF is preserved. This enables our tracker to run at more than 60 FPS during test time, while achieving a significant accuracy gain compared with KCF using HoGs. Extensive evaluations on OTB-2013, OTB-2015, and VOT2015 benchmarks demonstrate that the proposed DCFNet tracker is competitive with several state-of-the-art trackers, while being more compact and much faster.

研究の動機と目的

• 効率的な、判別型相関フィルター（DCF）を用いたオンライン物体追跡を動機づける。
• 単一のアーキテクチャ内で DCF に適した特徴を学習するエンドツーエンドの CNN を開発する。
• フーリエ領域での逆伝播を導出して DCF の効率を維持する。
• 軽量でリカレント風の機構を用いてモデルをオンライン更新できるようにする。
• 標準的な追跡ベンチマークでリアルタイム性能と競争力のある精度を示す。

提案手法

• DCF を Siamese ネットワーク内の特殊な相関フィルター層として扱い、エンドツーエンド学習を可能にする。
• 効率を維持するためにフーリエ領域で DCF 層を通じた逆伝播を導出する。
• DCF 層で使用される φ(x) を生成する軽量な CNN 特徴抽出器を訓練する（VGG の conv1、プーリングなし）。
• Eq. (13) を用いて DCF フィルター w を増分的（RNN-like）に更新する形でオンライン追跡を定式化する。
• ネットワーク出力を物体位置の確率ヒートマップ g と定義し、L = ||g - ĝ||^2 + γ||θ||^2 を最適化する。
• LRN 層と正則化 λ を用いた標準の DCFリッジ回帰で安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 追跡のエンドツーエンド学習を可能にするため、判別型相関フィルターを CNN の微分可能な層として統合するにはどうすればよいか。
• RQ2 DCF追跡に適したエンドツーエンドで学習した特徴は、DCF の効率的なフーリエ領域計算を維持しつつ精度を向上させるか。
• RQ3 軽量な DCFNet におけるネットワーク深さとスケールレベルが追跡性能と速度に与える影響はどのようか。
• RQ4 オンライン増分更新（RNN風）が時間とともに追跡性能を維持するのにどれだけ効果的か。
• RQ5 標準ベンチマーク（OTB2013/2015, VOT2015）における DCFNet の精度と速度はどうか。

主な発見

• DCFNet はテスト中に 60 FPS を超える速度で動作する。
• エンドツーエンドで学習した特徴は、手作り HoG ベースの DCF トラッカーを上回る利点を提供し、OTB2015 の success プロットで KCF より約10%、HoG を用いた DSST より 6.2% 向上。
• conv1 ベースの特徴を用いる軽量ネットワーク（75 KB）は、深い CNN ベースの追跡器より高速で競争力のある精度を達成。
• OTB2015 では DCFNet は notable accuracy gain（KCF に対して 10%、DSST に対して 6.2%）を示しつつリアルタイム性能を維持。
• アブレーション研究は、限られた学習データではより深いネットワークが必ずしも性能を向上させないことを示し、拡張（dilation）と単一畳み込みの変種がパラメータ効率と精度を向上させる可能性がある。
• VOT2015 では、DCFNet は性能と速度のバランスを取り、KCF や MUSTer のような最先端トラッカーと競合している。