[論文レビュー] Robust Object Modeling for Visual Tracking

Yidong Cai, Jie Liu+2 more|arXiv (Cornell University)|Aug 9, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、二重ストリームアテンションを用いて内在的特徴とハイブリッドテンプレート特徴を統合的にモデリングすることで、外見変化に適応するための適応的変動トークンを導入する、ROMTrackと呼ばれる新しい視覚追跡フレームワークを提案する。この手法は6つのベンチマークで最先端の性能を達成し、LaSOT ${}_{\text{ext}}$ において最大2.5%のAUC向上を達成した。

ABSTRACT

Object modeling has become a core part of recent tracking frameworks. Current popular tackers use Transformer attention to extract the template feature separately or interactively with the search region. However, separate template learning lacks communication between the template and search regions, which brings difficulty in extracting discriminative target-oriented features. On the other hand, interactive template learning produces hybrid template features, which may introduce potential distractors to the template via the cluttered search regions. To enjoy the merits of both methods, we propose a robust object modeling framework for visual tracking (ROMTrack), which simultaneously models the inherent template and the hybrid template features. As a result, harmful distractors can be suppressed by combining the inherent features of target objects with search regions' guidance. Target-related features can also be extracted using the hybrid template, thus resulting in a more robust object modeling framework. To further enhance robustness, we present novel variation tokens to depict the ever-changing appearance of target objects. Variation tokens are adaptable to object deformation and appearance variations, which can boost overall performance with negligible computation. Experiments show that our ROMTrack sets a new state-of-the-art on multiple benchmarks.

研究の動機と目的

• 分離的および相互作用的テンプレート学習の限界を克服し、両者の長所を統合すること。
• ハイブリッドテンプレート学習における干渉要因の汚染リスクを軽減しつつ、識別的特徴抽出を維持すること。
• 計算効率の高い新しいトークン設計を用いて、物体の変形および外見変化に対するロバスト性を向上させること。
• テンプレート更新に依存せずに、複数の標準視覚追跡ベンチマークで最先端の性能を達成すること。

提案手法

• 純粋なターゲット特徴を保持するための内在的テンプレートストリームと、検索領域と相互に特徴を強化するハイブリッドテンプレートストリームを備えた二重テンプレートアーキテクチャを提案する。
• ハイブリッドテンプレート特徴から導出される変動トークンを導入し、追跡中に生じる動的な外見変化をモデリングする。
• 変動トークンをクロスアテンション計算に統合し、計算コストを増加させることなく外見コンテキストに注目を向けるようにする。
• 二段階の訓練戦略を採用する：まず大規模データセットで事前学習を行い、次に連続的サンプリング戦略を用いて時間的外見ダイナミクスを学習する。
• 内在的テンプレートストリームでは自己アテンション、ハイブリッドテンプレートストリームではクロスアテンションを用いて、双方向の特徴連携を実現する。
• 推論時に物体の変形や外見シフトに適応できる、軽量かつ効果的な変動トークン機構を設計する。

実験結果

リサーチクエスチョン

• RQ1 分離的およびハイブリッドテンプレート特徴を統合することで、単独で使用する場合と比較して追跡のロバスト性が向上するか？
• RQ2 計算コストを増加させずに、提案された変動トークン機構は外見変化のモデリングにどの程度効果的か？
• RQ3 訓練時に連続的サンプリング戦略を採用することで、時間的外見ダイナミクスの学習能力が向上するか？
• RQ4 提案されたフレームワークは、標準ベンチマークで既存の最先端手法をどの程度上回るか？
• RQ5 変動トークン設計はオンラインテンプレート更新と組み合わせて効果的に機能し、さらなる性能向上をもたらすか？

主な発見

• ROMTrackは6つのベンチマークで新たな最先端性能を達成し、LaSOTでは69.3%のAUC、LaSOT ${}_{\text{ext}}$ では48.9%のAUCを記録。既存手法より最大2.5%のAUC向上を達成した。
• アブレーションスタディの結果、変動トークンが極めて重要であることが確認された。ROMTrack (w/o vt) はLaSOTとLaSOT ${}_{\text{ext}}$ でそれぞれ0.5%および0.7%悪い性能を示した。
• 連続的サンプリングによる訓練は、ランダムサンプリングよりも性能を向上させ、時間的外見ダイナミクスの学習に有効であることを示した。
• ROMTrackは400エポックで学習されたHTM-400よりも、LaSOTで0.5%、LaSOT ${}_{\text{ext}}$ で2.6%高いAUCを達成し、長時間の学習だけではなく、アーキテクチャの優位性を証明した。
• オンラインテンプレート更新と組み合わせた場合、変動トークン設計はさらに性能を向上させ、HTM-vt-onlineはLaSOTで0.5%、LaSOT ${}_{\text{ext}}$ で0.4%高いAUCを達成した。
• オクルージョンやスケール変化を含む多様な追跡課題において一貫した性能向上が見られ、干渉要因や変形に対してもロバストであることが示された。