[論文レビュー] Discriminative and Robust Online Learning for Siamese Visual Tracking

Jinghao Zhou, Peng Wang+1 more|arXiv (Cornell University)|Sep 6, 2019

Video Surveillance and Tracking Methods参考文献 21被引用数 5

ひとこと要約

本論文では、注意メカニズムを用いて特徴抽出を向上させ、適応フィルタおよびテンプレート更新を通じて追跡性能を向上させる、判別性とロバスト性に優れたオンライン学習モジュールDROLを提案する。SiamRPN++と統合することで、6つのベンチマークで最先端の結果を達成し、LaSOTでは53.7%のAUC、TrackingNetでは62.4%のNPrを記録。追加の訓練を必要とせず、ATOMやSiamRPN++を上回る性能を発揮する。

ABSTRACT

The problem of visual object tracking has traditionally been handled by variant tracking paradigms, either learning a model of the object's appearance exclusively online or matching the object with the target in an offline-trained embedding space. Despite the recent success, each method agonizes over its intrinsic constraint. The online-only approaches suffer from a lack of generalization of the model they learn thus are inferior in target regression, while the offline-only approaches (e.g., convolutional siamese trackers) lack the target-specific context information thus are not discriminative enough to handle distractors, and robust enough to deformation. Therefore, we propose an online module with an attention mechanism for offline siamese networks to extract target-specific features under L2 error. We further propose a filter update strategy adaptive to treacherous background noises for discriminative learning, and a template update strategy to handle large target deformations for robust learning. Effectiveness can be validated in the consistent improvement over three siamese baselines: SiamFC, SiamRPN++, and SiamMask. Beyond that, our model based on SiamRPN++ obtains the best results over six popular tracking benchmarks and can operate beyond real-time.

研究の動機と目的

• 固定されたオフラインモデルによる干渉要因や大規模変形の処理におけるシアンプス追跡器の限界を是正すること。
• 再訓練を伴わずに、ビデオ固有の特徴学習をシアンプスネットワークに統合すること。
• 背景を意識した注目と分類スコア統合を用いて、判別能力を向上させること。
• オンライン分類器の信頼度に従って適応的テンプレート更新を実施することで、ロバスト性を向上させること。
• さまざまなシアンプス追跡器と互換性があり、リアルタイム推論を維持するプラグアンドプレイモジュールを開発すること。

提案手法

• L2損失に基づき、ビデオフレームからターゲット固有の特徴を抽出するための二重注目メカニズムを備えたオンラインモジュールを導入。
• 学習可能な重みλを用いて、オンライン分類器の応答マップとシアンプスネットワークの分類スコアを統合し、判別能力を向上。
• オンライン信頼度スコアに基づき、シアンプスネットワークの分類ヘッドを更新することで、背景ノイズに適応するフィルタ更新戦略を提案。
• 間隔Tごとに、高信頼度フレームを選択してテンプレートを精緻化する動的短期テンプレート更新メカニズムを実装。
• オフラインのシアンプスネットワークの事前学習済み埋め込み空間を保持したまま、エンドツーエンドで学習可能な二次的最適化フレームワークを採用。
• 相互に独立し、モジュラリティを備えた二本のブランチアーキテクチャを採用：一方はシアンプスマッチング、もう一方はオンライン特徴精錬。

実験結果

リサーチクエスチョン

• RQ1 注目機構を備えたオンラインモジュールは、干渉要因や背景のごみが存在する状況でも、シアンプス追跡器の判別力を向上させ得るか？
• RQ2 事前学習済み埋め込み空間のロバスト性を損なわず、オンライン学習をシアンプスネットワークに統合できるか？
• RQ3 オンライン信頼度に基づく適応的フィルタおよびテンプレート更新は、大規模変形やモーションブラー下でも追跡のロバスト性を向上させるか？
• RQ4 提案されたモジュールは、再訓練や顕著な速度低下なしに、さまざまなシアンプス追跡器に普遍的に適用可能か？
• RQ5 追跡精度と安定性を向上させるために、シアンプススコアとオンライン分類器スコアの最適なバランスは何か？

主な発見

• ResNet50バックボーンを搭載したDROL-RPNは、LaSOTで53.7%のAUC、62.4%のNPrを達成。追加コンponentsなしにATOMおよびSiamRPN++を上回る性能を発揮。
• OTB100では、同じバックボーンを用いたSiamRPN++と比較して、AUCが1.2%向上、EAOが1.8%向上。
• アブレーションスタディの結果、λ = 0.8がシアンプススコアとオンライン分類器スコアのバランスを最適にし、λ = 1.0と比較してAUCを0.8%向上。
• 注目モジュールはTrackingNetでNPrを1.2%向上させ、MotorRollingやCokeのようなシーケンスでIoUの安定性を向上させ、ドリフトを低減。
• T = 5（5フレームごとに）のテンプレート更新は、T = 1よりも優れた性能を発揮し、テンプレートドリフトを低減し、長時間シーケンスでのロバスト性を向上。
• 本手法はリアルタイム推論速度を維持しており、標準ベンチマークでリアルタイムを超える速度で動作し、計算オーバーヘッドは最小限に抑えられる。