[論文レビュー] GradNet: Gradient-Guided Network for Visual Object Tracking

Peixia Li, Boyu Chen+4 more|arXiv (Cornell University)|Sep 15, 2019

Video Surveillance and Tracking Methods参考文献 42被引用数 49

ひとこと要約

GradNet は、Siamese ベースの視覚追跡に対して勾配に導かれたテンプレート更新を導入し、勾配情報とテンプレート一般化学習法を用いてオンラインでテンプレートを更新し、リアルタイム速度を維持しつつ精度を向上させる。

ABSTRACT

The fully-convolutional siamese network based on template matching has shown great potentials in visual tracking. During testing, the template is fixed with the initial target feature and the performance totally relies on the general matching ability of the siamese network. However, this manner cannot capture the temporal variations of targets or background clutter. In this work, we propose a novel gradient-guided network to exploit the discriminative information in gradients and update the template in the siamese network through feed-forward and backward operations. Our algorithm performs feed-forward and backward operations to exploit the discriminative informaiton in gradients and capture the core attention of the target. To be specific, the algorithm can utilize the information from the gradient to update the template in the current frame. In addition, a template generalization training method is proposed to better use gradient information and avoid overfitting. To our knowledge, this work is the first attempt to exploit the information in the gradient for template update in siamese-based trackers. Extensive experiments on recent benchmarks demonstrate that our method achieves better performance than other state-of-the-art trackers.

研究の動機と目的

• 外観の変化や背景の混雑に対処するため、Siamese ベースの追跡器に対するオンライン適応を促進する。
• 現在のフレームで追跡テンプレートを更新するために勾配情報を活用する。
• 1 回の逆伝播パスでテンプレートを適応させる軽量なエンドツーエンドネットワーク（GradNet）を開発する。
• テンプレート一般化学習法を通じてオンライン過学習を防ぎ、一般化能力を向上させる。

提案手法

• 2系統のアーキテクチャ：探索領域の特徴抽出器と、勾配から新しいテンプレートを生成する更新ブランチ。
• サブネットワーク U1 を介して初期テンプレートを形成するためのターゲット特徴の初期埋め込み。
• ターゲット特徴に対する損失の勾配を計算し、それをサブネットワーク U2を通して処理し、勾配ベースの更新を生成する。
• 勾配駆動の更新と初期ターゲット特徴を組み合わせてテンプレートを更新し、最終スコアリングのための最適テンプレートを再導出する。
• 過学習を避けるため、二階勾配とクロスビデオ検索領域を用いたテンプレート一般化戦略で更新ブランチを訓練する。
• オンライン追跡中、数フレームごとにテンプレートを更新し、適応と安定性のバランスをとるために初期テンプレートと融合する。

実験結果

リサーチクエスチョン

• RQ1 勾配情報を活用してリアルタイムでSiamese追跡器のテンプレートを更新することは可能か？
• RQ2 テンプレート一般化学習戦略は過学習を減らし、多様なビデオ領域に対する一般化を改善するか？
• RQ3 GradNet は、オンライン更新型追跡器および純粋なオフラインSiamese追跡器と比べて、精度と速度の面でどうか？

主な発見

• GradNet は標準の GPU/CPU セットアップでリアルタイム追跡を 80 fps で達成する。
• 勾配誘導型更新は SiameseFC のベースラインより精度と成功指標を向上させる。
• テンプレート一般化学習は過学習を減らし、更新ブランチが外観だけでなく識別性の高い勾配に依存するよう促す。
• 1 回の逆伝播と2回の順伝播の合計でテンプレートを効果的に更新でき、速度と精度のバランスをとる。
• アブレーション研究は、各要素（勾配の使用、テンプレート一般化、オンライン更新）が性能向上に寄与することを示している。
• 4つのベンチマークで、GradNet は最先端のリアルタイム追跡器と比較して競争力があるか、あるいは上回る性能を示す。