[論文レビュー] Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking

Pengyu Zhang, Jie Zhao+3 more|arXiv (Cornell University)|Jul 4, 2020

Video Surveillance and Tracking Methods参考文献 66被引用数 10

ひとこと要約

本論文は、RGBと赤外画像の応答を適応的に統合する新しい遅延統合ネットワーク（MFNet）を用いて、外観と運動の手がかりを統合的にモデル化する、頑健なRGB-T追跡フレームワークJMMACを提案する。ターゲットおよびカメラの運動モデルを統合し、動的トラッカー・スイッチャーを導入することで、3つのRGB-Tベンチマークで最先端の性能を達成し、EAOおよび頑健性の観点で既存手法を大きく上回った。

ABSTRACT

In this study, we propose a novel RGB-T tracking framework by jointly modeling both appearance and motion cues. First, to obtain a robust appearance model, we develop a novel late fusion method to infer the fusion weight maps of both RGB and thermal (T) modalities. The fusion weights are determined by using offline-trained global and local multimodal fusion networks, and then adopted to linearly combine the response maps of RGB and T modalities. Second, when the appearance cue is unreliable, we comprehensively take motion cues, i.e., target and camera motions, into account to make the tracker robust. We further propose a tracker switcher to switch the appearance and motion trackers flexibly. Numerous results on three recent RGB-T tracking datasets show that the proposed tracker performs significantly better than other state-of-the-art algorithms.

研究の動機と目的

• 既存のRGB-Tトラッカーが外観手がかりに過度に依存し、遮蔽、照明変化、赤外クロスオーバーの条件下で失敗するという限界を是正すること。
• グローバルおよびローカルな文脈に基づいて、RGBと赤外応答の重みを適応的に設定する遅延統合戦略を考案することで、RGB-T追跡におけるマルチモodal統合を向上させること。
• 外観の劣化に伴う頑健性の向上を図るため、ターゲットの運動予測とカメラの運動補償を組み込むこと。
• リアルタイムでの手がかり信頼性に基づき、外観ベースの追跡（JMMAC）と運動ベースの追跡（TMP + CME）を柔軟に切り替える動的トラッカー・スイッチャーを設計すること。

提案手法

• 事前学習済みネットワークを用いて、グローバルおよびローカルな統合重みを学習するマルチモーダル統合ネットワークMFNetを提案する。
• RGBおよび赤外応答マップの重み付き線形合成を採用し、MFNetが決定する重みで統合：$ \textbf{R}_F = w \times \textbf{R}_{RGB} + (1-w) \times \textbf{R}_T $。
• リアルタイムでの手がかり信頼性に基づき、外観ベースの追跡（JMMAC）と運動ベースの追跡（TMP + CME）の間で切り替えるトラッカー・スイッチャーを導入する。
• 履歴的な運動パターンを用いて、将来のターゲット位置を推定する運動予測モジュールでターゲットの運動をモデル化する。
• アフィン変換を用いてカメラの運動を推定し、動きぼけやドリフト発生時における追跡の安定化を図る。
• YOLOv2を用いたボックス回帰ヘッドにより、最小限の計算コストでバウンディングボックスを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 学習されたグローバルおよびローカルな統合重みによって制御されるRGBと赤外モダリティの遅延統合は、早期統合や単純平均化と比較して、追跡の頑健性を顕著に向上させるか？
• RQ2 遮蔽やぼやけによって外観手がかりが信頼できなくなった場合でも、ターゲットおよびカメラの運動モデルを統合することで、追跡精度を維持できるか？
• RQ3 外観と運動ベースの追跡の間でリアルタイムで切り替える動的トラッカー・スイッチャーは、多様な追跡課題にわたる全体的な頑健性を向上させられるか？
• RQ4 提案されたMFNet統合メカニズムは、異なるデータセットに一般化しやすく、精度と安定性の観点で既存の統合戦略を上回るか？

主な発見

• MFNetは、VOT19-RGBTデータセットでEAOスコア0.7835を達成し、強化された強度ベース統合（0.7796）やトレーニング品質ベース統合（0.7454）といったベースライン手法を顕著に上回った。
• トラッカー・スイッチャーはパrameterの摂動に対して強い頑健性を示し、特に$ t_{\text{diff}} $において広いパrameter範囲で高い性能を維持しており、過学習の低減を示している。
• カメラの運動モデルのうち、アフィン変換が最も優れた性能を示し、並進、類似変換、射影変換モデルを上回った。
• 全体のJMMACトラッカーは約4 FPSで動作し、MFNetおよび運動モジュールによる計算オーバーヘッドは最小限であり、リアルタイム利用に実用的である。
• GTOT、RGBT234、VOT19-RGBTの各データセットで、JMMACは最先端の性能を達成し、競合するRGB-Tトラッカーと比較してEAOスコアが一貫して高い水準を維持した。
• アブレーションスタディの結果、MFNetおよび運動モデリングの両方のコンponentが不可欠であることが確認され、いずれかを除去すると顕著な性能低下が生じた。