[論文レビュー] SparseTT: Visual Tracking with Sparse Transformers

Zhihong Fu, Zehua Fu+3 more|arXiv (Cornell University)|May 8, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

SparseTTは、ターゲットに焦点を当てた注目メカニズムを備えたスパーストランスフォーマーを用いたシames型ビジョナルトラッキングフレームワークを提案する。これにより、検索領域内の関連する特徴を強調することで、トラッキング精度を向上させる。40 FPSでLaSOT、GOT-10k、TrackingNet、UAV123でSOTA性能を達成し、TransTと比較して75%高速な学習を実現する。

ABSTRACT

Transformers have been successfully applied to the visual tracking task and significantly promote tracking performance. The self-attention mechanism designed to model long-range dependencies is the key to the success of Transformers. However, self-attention lacks focusing on the most relevant information in the search regions, making it easy to be distracted by background. In this paper, we relieve this issue with a sparse attention mechanism by focusing the most relevant information in the search regions, which enables a much accurate tracking. Furthermore, we introduce a double-head predictor to boost the accuracy of foreground-background classification and regression of target bounding boxes, which further improve the tracking performance. Extensive experiments show that, without bells and whistles, our method significantly outperforms the state-of-the-art approaches on LaSOT, GOT-10k, TrackingNet, and UAV123, while running at 40 FPS. Notably, the training time of our method is reduced by 75% compared to that of TransT. The source code and models are available at https://github.com/fzh0917/SparseTT.

研究の動機と目的

• ビジョナルトラッキングにおけるアンサンブルトランスフォーマーの限界を解決する。具体的には、グローバルな文脈モデリングにより、自己注意が背景に過剰に注目し、ターゲットに不足する注目を受けること。
• ターゲットの変形、部分的遮蔽、スケール変動といった困難な状況下でもトラッキング精度を向上させること。
• TransTのような既存のトランスフォーマーに基づくトラッカーと比較して、性能を維持または向上させつつ、学習時間を短縮すること。
• 前景・背景分類とボクシングボックス回帰の精度を向上させるために、デュアルヘッド予測器を導入すること。
• 検索領域内の最も関連性の高い特徴にのみ注目するスパース注目メカニズムを設計し、識別的な特徴表現を向上させること。

提案手法

• 検索領域内の最も関連性の高い空間的位置に限定して注目計算を行うスパース自己注意メカニズムを提案する。これにより、背景特徴による干渉を低減する。
• 動的にターゲットオブジェクトに対応する重要な特徴を同定・強調するターゲットフォーカスネットワークを統合する。
• 分類（前景対背景）と回帰（ボクシングボックス座標）のための別々の分岐を持つデュアルヘッド予測器を設計する。これにより、予測精度を向上させる。
• テンプレートと検索領域からのバックボーン特徴をスパーストランスフォーマーのエンコーダーで処理し、文脈に適応した表現を生成するシアンズ型トラッキングフレームワークを構築する。
• 関連する特徴に注目できる学習可能なクエリメカニズムを用いることで、顔貌の著しい変化下でも正確な局所化を可能にする。
• 分類損失と回帰損失の組み合わせを用いて、エンドツーエンドでモデルを学習し、検出および局所化性能の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーにおけるスパース注目メカニズムが、グローバルな背景文脈ではなく、最も関連性の高いターゲット特徴に注目することで、ビジョナルトラッキング精度を向上させることができるか？
• RQ2 提案されたデュアルヘッド予測器は、単一ヘッドと比較して、ビジョナルトラッキングにおける分類および回帰精度でどのように優れているか？
• RQ3 標準トランスフォーマーと比較して、スパース注目メカニズムが、性能を維持または向上させつつ、どの程度学習時間を短縮できるか？
• RQ4 提案手法は、遮蔽、変形、スケール変動といった多様な課題を有するさまざまなベンチマークで、どの程度一般化性能を示すか？
• RQ5 スパーストランスフォーマーフレームワークは、主なトラッキングベンチマークでSOTA手法を上回りつつ、40 FPSのリアルタイム推論速度を達成できるか？

主な発見

• SparseTTはLaSOT、GOT-10k、TrackingNet、UAV123でSOTA性能を達成し、精度と耐障害性の面でTransTおよび他のSOTAトラッカーを上回る。
• GOT-10kでは、AOスコアが0.693、SR@0.5が0.791、SR@0.75が0.638を達成し、TransT（AO: 0.671、SR@0.5: 0.768）を顕著に上回る。
• UAV123では、成功率が0.704、精度が0.704を記録し、TransT（0.691および0.694）および他の先端手法を上回る。
• TrackingNetでは、最高の成功率（81.7%）と正規化精度（86.6%）を達成し、大規模データにおける優れた一般化性能を示す。
• SparseTTの学習時間は、TransTの25%にまで短縮され、性能を維持または向上させつつ75%の学習時間短縮が達成された。
• SparseTTは推論時に40 FPSで動作し、精度を損なわずリアルタイムデプロイメントの可能性を裏付けた。