[論文レビュー] CiteTracker: Correlating Image and Text for Visual Tracking

Xin Li, Yuqing Huang+4 more|arXiv (Cornell University)|Aug 22, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

CiteTrackerは、画像パッチから記述的テキストを生成し、アテンションベースのモジュールを介してそのテキストを検索画像と相関させることで、ターゲットモデリングを向上させる画期的なビジュアルトラッキングフレームワークを提案する。言語信号を活用することで、より抽象的かつ安定した表現が得られ、5つのベンチマークデータセットで最先端の性能を達成し、外見の変化や初期化が不十分な状況に対しても優れた耐性を示す。

ABSTRACT

Existing visual tracking methods typically take an image patch as the reference of the target to perform tracking. However, a single image patch cannot provide a complete and precise concept of the target object as images are limited in their ability to abstract and can be ambiguous, which makes it difficult to track targets with drastic variations. In this paper, we propose the CiteTracker to enhance target modeling and inference in visual tracking by connecting images and text. Specifically, we develop a text generation module to convert the target image patch into a descriptive text containing its class and attribute information, providing a comprehensive reference point for the target. In addition, a dynamic description module is designed to adapt to target variations for more effective target representation. We then associate the target description and the search image using an attention-based correlation module to generate the correlated features for target state reference. Extensive experiments on five diverse datasets are conducted to evaluate the proposed algorithm and the favorable performance against the state-of-the-art methods demonstrates the effectiveness of the proposed tracking method.

研究の動機と目的

• ビジュアルトラッキングにおける単一画像パッチ参照の限界、特に外見の変化や曖昧さに対処する困難さを解決すること。
• 画像のみに依存するのではなく、言語信号を活用することで、より抽象的かつ明確な概念を提供するターゲット表現の向上。
• ターゲットの変化に応じて適応的に変化する動的なテキスト特徴生成メカニズムの開発。
• アテンションベースの相関モジュールによる画像とテキスト特徴の統合により、トラッキングの精度と耐性の向上。

提案手法

• 事前に定義されたオープンボキャブラリー（クラスおよび属性ラベル）を用いたプロンプト学習を活用し、CLIPをバックボーンとして用いることで、ターゲット画像パッチから記述的テキストを生成するテキスト生成モジュールを開発。
• ターゲットの外見の変化に伴い進化する適応的テキスト特徴を生成する動的記述モジュールを設計し、ポーズ、照明、遮蔽の変化に対する耐性を向上。
• 生成されたテキスト記述と検索画像からの特徴をアテンションベースの相関モジュールで統合し、ターゲット状態予測に適した相関特徴を生成。
• 画像とテキストの相関をトラッキングパイプラインに統合し、従来の画像のみのリファレンスに代わる言語強化表現を導入。
• 画像とテキスト特徴を整列させるためのコントラスト型損失を用いて、エンドツーエンドでモデルを訓練し、正確な局所化を最適化。
• 本手法は、GOT-10K、LaSOT、TrackingNet、OTB100、TNL2Kを含む5つの多様なデータセットで評価され、各コンponentの有効性を検証するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 画像パッチから生成されたテキスト記述は、外見の変化にさらされてもターゲット表現の向上に寄与するか？
• RQ2 動的テキスト特徴の適応的変化は、時間経過に伴うトラッキングの耐性をどのように向上させるか？
• RQ3 挑戦的なトラッキングシナリオにおいて、画像とテキストの相関は、純粋な視覚的相関を上回る程度の効果を示すか？
• RQ4 不良な初期化や低品質なターゲットサンプル下での本手法の性能はいかがなっているか？
• RQ5 視覚的手がかりが曖昧または誤解を招く状況下でも、言語信号はトラッキングを安定化させるか？

主な発見

• CiteTrackerは、GOT-10K、LaSOT、TrackingNet、OTB100、TNL2Kの5つのベンチマークデータセットすべてで最先端の性能を達成した。
• 属性記述の導入により、OTB2015では精度が1.6%向上、TNL2Kでは0.5%向上し、その耐性への貢献が裏付けられた。
• 動的記述生成モジュールにより、OTB2015ではAUC性能が0.3%、GOT-10Kでは0.2%、TNL2Kでは0.3%向上し、その有効性が実証された。
• 初期化に対する耐性が優れており、OTBにおけるTRE-worstでOSTrack比3.6%の向上を示した。
• 可視化結果から、外見の変化が著しいフレーム間でも生成されたテキスト記述が一貫しており、安定したターゲット同定を支援することが確認された。
• Bolt、Ironman、YellowPeople、Jamesなどの困難なシーケンスにおいて、CiteTrackerはOSTrackが失敗する状況でも正確なトラッキングを維持した。特に、運動ブラー、照明の変化、悪意のある干渉要因の下でも優れた性能を示した。