[論文レビュー] Separable Self and Mixed Attention Transformers for Efficient Object Tracking

Goutam Yelluru Gopal, Maria A. Amer|arXiv (Cornell University)|Sep 7, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、バックボーンに分離可能なミックスアテンション、ヘッドに分離可能な自己アテンションを統合することで、効率的で高精度な追跡を実現する軽量な視覚的オブジェクトトラッカーSMATを提案する。分離可能なミックスアテンションによるテンプレートとサーチ特徴の融合と、効率的な自己アテンションによる長距離依存性のモデル化により、SMATはCPUで37 fps、GPUで158 fpsを達成し、3.8Mパラメータで、GOT10k-testにおけるAOスコアで7.9%の向上を達成し、6つのベンチマークで最先端の軽量トラッカーを上回った。

ABSTRACT

The deployment of transformers for visual object tracking has shown state-of-the-art results on several benchmarks. However, the transformer-based models are under-utilized for Siamese lightweight tracking due to the computational complexity of their attention blocks. This paper proposes an efficient self and mixed attention transformer-based architecture for lightweight tracking. The proposed backbone utilizes the separable mixed attention transformers to fuse the template and search regions during feature extraction to generate superior feature encoding. Our prediction head performs global contextual modeling of the encoded features by leveraging efficient self-attention blocks for robust target state estimation. With these contributions, the proposed lightweight tracker deploys a transformer-based backbone and head module concurrently for the first time. Our ablation study testifies to the effectiveness of the proposed combination of backbone and head modules. Simulations show that our Separable Self and Mixed Attention-based Tracker, SMAT, surpasses the performance of related lightweight trackers on GOT10k, TrackingNet, LaSOT, NfS30, UAV123, and AVisT datasets, while running at 37 fps on CPU, 158 fps on GPU, and having 3.8M parameters. For example, it significantly surpasses the closely related trackers E.T.Track and MixFormerV2-S on GOT10k-test by a margin of 7.9% and 5.8%, respectively, in the AO metric. The tracker code and model is available at https://github.com/goutamyg/SMAT

研究の動機と目的

• CPUのようなリソース制約のある環境における、標準的なトランスフォーマー基盤トラッカーの計算非効率性を解消すること。
• 軽量シアンプス型トラッキングにおけるバックボーンおよびヘッドモジュールの両方で、トランスフォーマー基盤のモデリングを可能にすること。
• 分離可能なミックスアテンションを用いてテンプレート領域とサーチ領域間の特徴統合を向上させ、より良い表現学習を実現すること。
• 実時間推論速度（CPUで≥30 fps）を維持しながら、軽量トラッキング分野で最先端の精度を達成すること。
• 分離可能なアテンション機構が、性能を損なわずに標準アテンションの代替として効果的に機能することを示すこと。

提案手法

• バックボーンは、テンプレート領域とサーチ領域からの特徴を共同で抽出・統合するための分離可能なミックスアテンションブロックを備えたハイブリッドCNN-ViTアーキテクチャを採用する。
• 分離可能なミックスアテンションは、標準的な行列乗算を要素ごとの演算に置き換えることで、異種モodal特徴統合時の計算コストを低減する。
• 予測ヘッドは、統合された特徴における長距離依存性をモデル化するための分離可能な自己アテンションブロックを採用する。
• 本研究では、軽量トラッカーにおいて、初めてバックボーンとヘッドモジュールの両方にトランスフォーマー基盤のコンponentsを統合した。
• モデルは標準的なトラッキング損失関数を用いてエンドツーエンドで訓練され、CPUデプロイメントに最適化された推論が行われる。
• アブレーションスタディにより、分離可能なアテンションおよびバックボーン-ヘッドの統合設計の有効性が検証された。

Figure 1 : Proposed SMAT architecture. The separable mixed attention Vision Transformer-based backbone jointly performs feature extraction and fusion of template and search regions. The separable transformer-based head models long-range dependencies within the fused features to predict accurate boun

実験結果

リサーチクエスチョン

• RQ1 分離可能なミックスアテンションは、計算コストを低減しつつ、特徴統合の質を維持するため、バックボーンにおける標準ミックスアテンションに効果的に置き換え可能か？
• RQ2 ヘッドモジュールにおける分離可能な自己アテンションは、軽量トラッキングにおいて畳み込みヘッドと同等またはそれ以上の性能を達成可能か？
• RQ3 軽量トラッカーにおいて、トランスフォーマー基盤のバックボーンとヘッドモジュールを組み合わせることで、実時間速度を損なわず精度が向上するか？
• RQ4 多様なベンチマークにおいて、提案されたSMATは最先端の軽量トラッカーと比較して、精度および推論速度の両面で優れているか？
• RQ5 バックボーンにおける特徴統合の影響は、遮蔽、照明変動、変形といった困難な属性に対するロバストネスにどのように寄与するか？

主な発見

• SMATはCPUで37 fps、GPUで158 fpsを達成し、3.8Mパラメータというわずかなサイズで、制約のあるハードウェアでも実時間性能を示した。
• GOT10k-testでは、E.T.TrackとMixFormerV2-Sに比べ、AO指標でそれぞれ7.9%、5.8%の向上を達成した。
• LaSOTでは、14の属性のうち8つで最高性能を記録し、残りの5つで2番目のスコアを獲得。特に照明変動属性では、MixFormerV2-Sより4.3%高いAUCを達成した。
• 部分的遮蔽（2番目に高いAUCより3.2%高い）および背景の雑音（2番目に高いAUCより2.7%高い）に対して顕著なロバストネスの向上を示した。
• アテンション可視化により、部分的遮蔽下でも関連する視覚的キューに注目していることが確認され、局所化精度の向上が裏付けられた。
• アブレーションスタディにより、バックボーンに分離可能なミックスアテンション、ヘッドに分離可能な自己アテンションを組み合わせた設計が、優れた精度-速度トレードオフを達成していることが確認された。

Figure 2 : Proposed Separable Mixed Attention ViT block. The qkv-proj denotes the set of three $1\times 1$ convolutional filters to generate the Query , Key , and Value for attention computation. The mixed attention output is passed through a $1\times 1$ convolutional ffn-out block to generate the o