[論文レビュー] CREST: Convolutional Residual Learning for Visual Tracking
CRESTは識別的相関フィルターを1層の畳み込みネットワークとして再定式化し、エンドツーエンド学習可能なフレームワークで視覚追跡のモデルを堅牢に更新するために残差学習を用います。
Discriminative correlation filters (DCFs) have been shown to perform superiorly in visual tracking. They only need a small set of training samples from the initial frame to generate an appearance model. However, existing DCFs learn the filters separately from feature extraction, and update these filters using a moving average operation with an empirical weight. These DCF trackers hardly benefit from the end-to-end training. In this paper, we propose the CREST algorithm to reformulate DCFs as a one-layer convolutional neural network. Our method integrates feature extraction, response map generation as well as model update into the neural networks for an end-to-end training. To reduce model degradation during online update, we apply residual learning to take appearance changes into account. Extensive experiments on the benchmark datasets demonstrate that our CREST tracker performs favorably against state-of-the-art trackers.
研究の動機と目的
- ディープ特徴表現を活用するために、相関フィルタベースの追跡に対するエンドツーエンド学習を促進する。
- 特徴抽出、応答マップ生成、モデル更新を単一の微分可能なCNNモデルに統合する。
- 空間的および時間的残差学習を適用してオンライン更新中のモデル劣化を緩和する。
提案手法
- 識別的相関フィルター (DCF) を一層の畳み込みネットワーク (base layer) として再定式化する。
- ベース層の出力と真理の応答との差をモデリングするために、3つの空間的残差層（任意で時間的残差を追加）を介して残差学習を用いる。
- 探索パッチと初期フレームから事前学習済みCNN（VGG）で特徴を抽出し、DCF目的関数と同等のL2損失で訓練する。
- 追跡中にオンラインで畳み込みフィルターを更新するためのエンドツーエンドのバックプロパゲーションを可能にする。
- 複数のスケールを評価してターゲットサイズの更新をベータ（beta）因子で平滑化することでスケール推定を組み込む。
実験結果
リサーチクエスチョン
- RQ1DCFベースの追跡をエンドツーエンド訓練可能なCNNモジュールとして再定式化できるか？
- RQ2残差学習は外観変化への堅牢性を向上させ、オンライン更新時のモデル劣化を低減するか？
- RQ3時間的残差を統合することがリアルタイム制約下で追跡性能にどのように影響するか？
主な発見
- CREST は標準ベンチマーク（OTB-2013、OTB-2015、VOT-2016）で最先端追跡器に対して有利な性能を示す。
- ベース層の性能は畳み込み特徴を用いた従来のDCF追跡器と同等で、時空間残差が統合されると顕著な改善が見られる。
- 空間的残差学習は精度とAUCを向上させ、時間的残差は全体の性能に穏やかな寄与をする。
- 残差精製により背景雑音や照明変動などの難条件で CREST が精度を維持するという定性的結果を示す。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。