[論文レビュー] Backbone is All Your Need: A Simplified Architecture for Visual Object Tracking

Boyu Chen, Peixia Li+7 more|arXiv (Cornell University)|Mar 10, 2022

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本稿では、シアンズネットワークの代わりに単一ブランチのビジョントランスフォーマーバックボーンを用いることで、簡素化された視覚的オブジェクト追跡フレームワークであるSimTrackを提案する。エクジンプレとサーチ画像を直列化して、両者の特徴を統合的に学習・相互作用させる。両入力に対して最初から自己注意機構を活用することで、LaSOTおよびTNL2Kでベースライン比2.5%/2.6%のAUC向上を達成し、特化した相互作用モジュールの必要性を排除した。また、追跡において汎用トランスフォーマーバックボーンの有効性を示した。

ABSTRACT

Exploiting a general-purpose neural architecture to replace hand-wired designs or inductive biases has recently drawn extensive interest. However, existing tracking approaches rely on customized sub-modules and need prior knowledge for architecture selection, hindering the tracking development in a more general system. This paper presents a Simplified Tracking architecture (SimTrack) by leveraging a transformer backbone for joint feature extraction and interaction. Unlike existing Siamese trackers, we serialize the input images and concatenate them directly before the one-branch backbone. Feature interaction in the backbone helps to remove well-designed interaction modules and produce a more efficient and effective framework. To reduce the information loss from down-sampling in vision transformers, we further propose a foveal window strategy, providing more diverse input patches with acceptable computational costs. Our SimTrack improves the baseline with 2.5%/2.6% AUC gains on LaSOT/TNL2K and gets results competitive with other specialized tracking algorithms without bells and whistles.

研究の動機と目的

• シアンズネットワークを統合的かつ汎用的なトランスフォーマーバックボーンに置き換えることで、視覚的オブジェクト追跡を簡素化すること。
• 従来の追跡フレームワークにおけるタスク特化型のインダクティブバイアスやカスタム設計の相互作用モジュールへの依存を軽減すること。
• 単一のトランスフォーマーバックボーン内で統合的特徴学習と相互作用を実現することで、追跡精度を向上させること。
• 焦点窓戦略を用いて、ビジョントランスフォーマーにおけるダウンサンプリングに起因する情報損失を軽減すること。
• 汎用的で事前学習済みのトランスフォーマーバックボーンが、最小限のアーキテクチャ変更で特化設計を上回ることを実証すること。

提案手法

• エクジンプレとサーチ画像をビジョントランスフォーマーバックボーンに供給する前に、1つのトークンシーケンスに直列化すること。
• マルチヘッド自己注意機構を備えた標準的なビジョントランスフォーマーバックボーンを用い、最初のブロックから跨モodal特徴相互作用を可能にすること。
• 画像中央周辺のパッチサンプリング頻度を高める焦点窓戦略を導入し、ターゲット関連の詳細を保持すること。
• 直列化された入力に適した位置埋め込みを適用し、エクジンプレ領域とサーチ領域の空間的認識を維持すること。
• バックボーンの注意メカニズムに依存することで、専用の相互作用ヘッドを排除すること。
• より良い初期化と高速収束を実現するため、事前学習済みのImageNetまたはMAE重みを活用すること。

実験結果

リサーチクエスチョン

• RQ1 単一ブランチのビジョントランスフォーマーバックボーンは、視覚的オブジェクト追跡においてシアンズネットワークと特化した相互作用ヘッドを置き換え可能か？
• RQ2 統合的特徴学習と一貫したトランスフォーマーバックボーン内での相互作用は、追跡精度の向上に寄与するか？
• RQ3 焦点窓戦略は、ロケーションタスクにおけるビジョントランスフォーマーのダウンサンプリングに起因する情報損失をどの程度軽減するか？
• RQ4 一般視覚タスクで事前学習したモデルは、簡素化されたフレームワークにおいてどの程度追跡性能を向上させるか？
• RQ5 バックボーンが包括的な特徴相互作用を実行している場合、追加のデコーダーや相互作用ヘッドは必要か？

主な発見

• SimTrackはTNL2Kで54.8%のAUC、LaSOTで77.7%のAUCを達成し、ベースラインのSTARK-SV（ViT-B/16）をそれぞれ2.5ポイントおよび2.6ポイント上回った。
• 構成要素ごとのアブレーションでは、SimTrackフレームワーク（+Sim）を追加するだけでAUCが1.3ポイント向上し、焦点窓戦略が追加で0.8ポイントの向上をもたらした。
• 位置埋め込みと焦点窓戦略の両方が有効であるが、後者の方がパフォーマンスに与える影響がより顕著であった。
• デコーダーヘッドを削除してもパフォーマンスにほとんど影響がなく、バックボーン単体で十分な相互作用が可能であることを確認した。
• 相互作用ブロック数を100%から50%に減らすとAUCが2.5ポイント低下し、さらに25%にまで減らすとさらに2.5ポイント低下した。これは、継続的な相互作用が極めて重要であることを示している。
• 可視化結果から、SimTrackは初期層から最終層にかけて段階的にターゲットに注目するのに対し、ベースラインのシアンズモデルはターゲット固有の注目を示さない一般オブジェクト特徴を学習していることがわかった。