[論文レビュー] RGB-T Tracking via Multi-Modal Mutual Prompt Learning

Yang Luo, Xiqing Guo+2 more|arXiv (Cornell University)|Aug 31, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、可視画像と赤外画像の両モダリティ間で双方向的かつ軽量な特徴統合を可能にする、マルチモーダル相互プロンプト学習トラッカー（MPLT）を提案する。この手法は、マルチヘッドアテンションに基づくプロンプターを備えた二重ブランチシアンサイトビジョントランスフォーマーを用いて、可視・赤外モダリティ間の特徴を効果的に融合する。MPLTは、LasHeR や RGBT210 を含む複数のベンチマークで最先端の性能を達成し、高い推論速度と低い計算コストを実現している。

ABSTRACT

Object tracking based on the fusion of visible and thermal im-ages, known as RGB-T tracking, has gained increasing atten-tion from researchers in recent years. How to achieve a more comprehensive fusion of information from the two modalities with fewer computational costs has been a problem that re-searchers have been exploring. Recently, with the rise of prompt learning in computer vision, we can better transfer knowledge from visual large models to downstream tasks. Considering the strong complementarity between visible and thermal modalities, we propose a tracking architecture based on mutual prompt learning between the two modalities. We also design a lightweight prompter that incorporates attention mechanisms in two dimensions to transfer information from one modality to the other with lower computational costs, embedding it into each layer of the backbone. Extensive ex-periments have demonstrated that our proposed tracking ar-chitecture is effective and efficient, achieving state-of-the-art performance while maintaining high running speeds.

研究の動機と目的

• RGB-Tトラッキングにおける可視画像と赤外画像の両モダリティの効率的かつ効果的な統合の課題に対処すること。
• 計算コストの低減とモダリティ間相互作用の向上を妨げる一方向的プロンプト学習や固定バックボーンアーキテクチャの限界を克服すること。
• 特徴抽出の過程で双方向的かつ多段階の特徴交換を可能にする、軽量で学習可能なプロンプトモジュールを設計すること。
• オンラインテンプレート更新とカルマンフィルタを用いて、照明変化、隠蔽、赤外クロスオーバーに対する耐性を向上させること。
• 最小限のパラメータ増加と低FLOPSを実現し、リアルタイムデプロイメントを可能にする高いトラッキング精度を達成すること。

提案手法

• RGBおよび赤外画像を別々に処理できる二重ブランチシアンサイトビジョントランスフォーマーに、ビジョントランスフォーマーバックボーンを拡張する。
• トークンレベルおよび空間レベルのアテンションを統合したマルチモーダルビジョナルインフォーメーションプロンプター（MVIP）を導入し、モダリティ固有の重みを生成する。
• MVIPを用いて、片方のモダリティの特徴を適応的に注釈し、重み付き加算によりもう一方のモダリティの特徴マップに統合する。
• プロンプト出力をバックボーンの各レイヤー出力と統合し、特徴マップ全体にわたる階層的・多段階の統合を実現する。
• 外見変化に適応するため、分類確信度に基づくオンラインテンプレート更新戦略を適用する。
• 隠蔽や運動ブラーに強い推論ボックスの精緻化を実現するため、カルマンフィルタを統合する。

実験結果

リサーチクエスチョン

• RQ1 一方向的または直接連結による手法と比較して、双方向的かつ軽量なプロンプト学習は、RGB-Tトラッキングにおける特徴統合をどのように改善するか？
• RQ2 プロンプトモジュールにマルチヘッドアテンション機構を統合することで、クロスモダリティ特徴のアライメントと表現品質が向上するか？
• RQ3 最小限のパラメータ数で学習可能なプロンプターは、固定バックボーン手法と同等またはそれ以上の性能を達成できるか？また、GPUメモリ使用量を削減できるか？
• RQ4 提案されたオンラインテンプレート更新およびカルマンフィルタによる精緻化は、外見変化や隠蔽の処理にどの程度効果的か？
• RQ5 相互プロンプト学習メカニズムは、低照度、赤外クロスオーバー、高速移動といった困難な状況下での耐性をどの程度向上させるか？

主な発見

• LasHeR データセットでは、PR 72.0%、SR 57.1% を達成し、ViPT や TBSI、MACFT といった最先端手法を上回った。
• RGBT210 データセットでは、PR 86.2%、SR 63.0% を達成し、CAT や DMCNet、mfDiMP といったすべての比較手法を上回った。
• アブレーションスタディの結果、MVIPモジュールを削除すると、PRが6.1%、SRが5.6%低下し、その重要性が確認された。
• MVIPにおける空間的またはトークンレベルのアテンションを削除すると、PRが3.5–4.7%低下し、両アテンション機構が効果的な統合に不可欠であることが示された。
• バックボーンを固定すると、PRが3.8%、SRが3.1%低下するが、MPLT-Fでさえ ViPT を上回る結果となり、相互プロンプト設計の頑健性が裏付けられた。
• MPLTはたった97Mのトレーニング可能なパラメータと58.7GのFLOPSを用い、TBSI（307Mパラメータ、82.2G FLOPS）と比較して顕著に効率的であることが実証された。