[論文レビュー] Learning Tracking Representations via Dual-Branch Fully Transformer Networks

Fei Xie, Chunyu Wang+3 more|arXiv (Cornell University)|Dec 5, 2021

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を特徴抽出に依存せずに、自己注意メカニズムを直接用いて視覚追跡特徴を学習する、シアンプソン型の二重ブランチ完全トランスフォーマーネットワーク、DualTFRを提案する。各ブランチ内に局所的およびグローバルな注意ブロックを設け、最終層に一つのクロス注意ブロックを配置することで、GOT-10kおよびVOT2020ベンチマークで最先端の性能を達成するとともに、1枚のGPUで約40 fpsのリアルタイム推論を実現した。

ABSTRACT

We present a Siamese-like Dual-branch network based on solely Transformers for tracking. Given a template and a search image, we divide them into non-overlapping patches and extract a feature vector for each patch based on its matching results with others within an attention window. For each token, we estimate whether it contains the target object and the corresponding size. The advantage of the approach is that the features are learned from matching, and ultimately, for matching. So the features are aligned with the object tracking task. The method achieves better or comparable results as the best-performing methods which first use CNN to extract features and then use Transformer to fuse them. It outperforms the state-of-the-art methods on the GOT-10k and VOT2020 benchmarks. In addition, the method achieves real-time inference speed (about $40$ fps) on one GPU. The code and models will be released.

研究の動機と目的

• マッチングから直接特徴を学習することで、ビジョントランスフォーマーモデルが畳み込みニューラルネットワーク（CNN）ベースの特徴抽出器を上回るかを調査すること。
• CNNに依存しないが高精度かつ高速な二重ブランチトランスフォーマーアーキテクチャを設計すること。
• 特にハイブリッドな「CNN+トランスフォーマーパipeline」との比較において、純粋なトランスフォーマーベースの特徴学習の有効性を検証すること。
• エンドツーエンドのトランスフォーマーベースの追跡に向けたブロック設計、事前学習、注意メカニズムに関する実証的知見を提供すること。

提案手法

• テンプレート画像およびサーチ画像を重複のないパッチに分割し、各ブランチ内で自己注意を用いて特徴を抽出する二重ブランチトランスフォーマーアーキテクチャを適用する。
• 初期の特徴抽出に高解像度特徴マップに局所的注意ブロック（LAB）を、長距離依存性のモデリングに低解像度マップにグローバル注意ブロック（GAB）を用いる。
• 最終層に一つのクロス注意ブロック（CAB）を導入し、テンプレートブランチとサーチブランチ間の特徴を統合することで、識別性の高い表現を強化する。
• 各トークンの上に分類ヘッドおよび回帰ヘッドを設け、オブジェクトの存在とバウンディングボックスサイズを直接予測する。
• 推論速度を最適化するため、グローバル注意を低解像度特徴にのみ適用することで、FLOPsを削減しながらも精度を維持する。
• 事前学習を用いるか、ImageNetで事前学習した状態からスクラッチで学習するかを変えて、事前学習の性能および収束への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全にトランスフォーマーベースのアーキテクチャは、支配的とされる「CNN+トランスフォーマー」手法を上回ることができるか？
• RQ2 CNNの監視なしに画像パッチに直接自己注意を適用した場合、追跡における特徴抽出に有効であるか？
• RQ3 精度と推論速度のバランスを最適化するための、局所的、グローバル、クロス注意ブロックの最適な構成は何か？
• RQ4 スクラッチから学習する場合と比較して、完全にトランスフォーマーベースの追跡モデルにおいてImageNet事前学習はどの程度重要か？
• RQ5 従来の相関ベースの統合と比較して、注意に基づく特徴統合（CAB）は追跡性能を顕著に向上させるか？

主な発見

• DualTFRは、VOT2020ベンチマークで0.528というEAOスコアを達成し、STARK や TransT などの既存手法を上回った。
• GOT-10kベンチマークでは、ImageNetで事前学習した場合に73.5%のAOスコアを達成し、クロス注意の代わりに深さ方向相関を使用した場合の51.2%と比べて顕著に優れた性能を示した。
• 1枚のNVIDIA 2080Ti GPUで約40 fpsで実行され、リアルタイム推論の能力を示した。
• アブレーションスタディの結果、グローバル注意ブロック（GAB）を用いることでAOが42.1%から46.1%に向上し、クロス注意ブロックを追加することで42.1%から48.5%に向上した。
• ImageNet事前学習は不可欠である：スクラッチから学習した場合、性能は73.5%から48.5%に低下し、完全にトランスフォーマーパイプラインに必要な誘導的バイアスを提供していることが示された。
• 44.1Mパラメータ、18.9G FLOPsのモデルは、VOT2020でSTARK（42.4Mパラメータ、18.5G FLOPs）よりも高い精度を達成し、効率と精度のトレードオフの面で優れた性能を示した。