[論文レビュー] Transforming Model Prediction for Tracking

C. Mayer, Martin Danelljan+5 more|arXiv (Cornell University)|Mar 21, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文では、従来の最適化ベースのモデル予測器に代わり、トランスフォーマーに基づくモデル予測器を用いることで、より表現力の高いターゲットモデルを学習する新しいトラッキングフレームワーク、ToMPを提案する。判別的相関フィルタ（DCF）トラッカーにおける最適化ベースのモデル予測器の表現力の限界を克服し、ターゲットモデルとバウンディングボックス回帰器の両方の重みを同時に予測することで、LaSOTで68.5%のAUCを達成し、複数のベンチマークで先行手法を上回る最先端の性能を実現した。

ABSTRACT

Optimization based tracking methods have been widely successful by integrating a target model prediction module, providing effective global reasoning by minimizing an objective function. While this inductive bias integrates valuable domain knowledge, it limits the expressivity of the tracking network. In this work, we therefore propose a tracker architecture employing a Transformer-based model prediction module. Transformers capture global relations with little inductive bias, allowing it to learn the prediction of more powerful target models. We further extend the model predictor to estimate a second set of weights that are applied for accurate bounding box regression. The resulting tracker relies on training and on test frame information in order to predict all weights transductively. We train the proposed tracker end-to-end and validate its performance by conducting comprehensive experiments on multiple tracking datasets. Our tracker sets a new state of the art on three benchmarks, achieving an AUC of 68.5% on the challenging LaSOT dataset.

研究の動機と目的

• 判別的相関フィルタ（DCF）トラッカーにおける最適化ベースのモデル予測器の表現力の限界を解消すること。
• トランスフォーマーによるグローバルな推論メカニズムを用いて、DCF最適化のインダクティブバイアスを置き換えることで、トラッキング性能を向上させること。
• テスト時の特徴量からターゲットモデルの重みとバウンディングボックス回帰の重みを予測する能力を学習することで、エンドツーエンドの訓練を可能にすること。
• トランスフォーマー入力に新たな符号化を導入し、ターゲットの位置と拡張度を明示的に表現することで、局所化精度を向上させること。
• LaSOT、OTB-100、UAV123を含む複数の標準トラッキングベンチマークで最先端の性能を達成すること。

提案手法

• 標準的なDCFモデル最適化器を、トレーニングフレームとテストフレームの特徴量のシーケンスからターゲットモデルの重みを生成するトランスフォーマーに基づくモデル予測器に置き換える。
• ターゲットの位置と拡張度の両方のための新しい位置符号化を導入し、トランスフォーマーが関連する空間的情報に注目できるようにする。
• モデル予測器を拡張し、別個のバウンディングボックス回帰器ネットワークのための重みの2番目のセットを出力することで、テスト時における局所化の微調整（トランスductive refinement）を可能にする。
• 2段階の推論パイプラインを採用：まずターゲットモデルの重みを予測して局所化を行い、次に2番目の重みセットを用いて高精度なバウンディングボックス回帰を実行する。
• モデル予測と回帰ステップをアンロールする微分可能最適化プロセスを用いて、トラッカー全体をエンドツーエンドで訓練する。
• 特徴量抽出にResNet-50およびResNet-101バックボーンを用い、トランスフォーマーがサポートフレームとクエリフレームの両方の特徴量を処理して重みを予測する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデル予測器は、従来の最適化ベースのモデル予測器を上回る性能を発揮できるか？
• RQ2 ターゲットモデルの重みと回帰重みを同時に予測することで、トラッキングの精度と耐障害性が向上するか？
• RQ3 ターゲットの位置と拡張度に特化した符号化は、トランスフォーマーに基づくトラッカーの性能にどのように影響するか？
• RQ4 テスト時における重み予測のトランスダクティブなメカニズムは、固定または最適化されたモデルよりも優れた一般化性能を発揮できるか？
• RQ5 提案手法は主要な視覚トラッキングベンチマークで新たな最先端性能を確立するか？

主な発見

• ToMPはLaSOTベンチマークで68.5%のAUCという、新たな最先端性能を達成し、従来手法を大きく上回った。
• ToMP-101はVOT2020STチャレンジで最高の耐障害性と競争力のある精度を示し、EAOスコア0.309を記録し、バウンディングボックスのみのトラッカーの中で1位となった。
• OTB-100では、ToMP-50およびToMP-101の両方がAUCスコア70%以上を達成し、ToMP-101はSuperDiMPと同等で、TransTをわずかに上回った。
• NFSデータセットでは、ToMP-101はKeepTrackを+0.5% AUC上回り、高速移動や干渉要因の多いシーケンスでも優れた性能を示した。
• アブレーションスタディの結果、新規の位置符号化と二重重み予測メカニズムの両方が、性能向上に顕著な寄与をしていることが確認された。
• LaSOTデータセットのすべての属性において、ToMPはすべてのトランスフォーマーに基づくトラッカーを上回り、多様なトラッキング課題にわたる広範な耐障害性を示した。