[論文レビュー] Exploring Fusion Strategies for Accurate RGBT Visual Object Tracking

Zhangyong Tang, Tianyang Xu+4 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Image Fusion Techniques被引用数 6

ひとこと要約

本論文では、RGBとTIRの寄与を動的に重み付けし、線形テンプレート更新を採用する、正確なRGBT視覚オブジェクト追跡のための新しい意思決定レベル融合戦略であるDFATを提案する。RGBデータでのみ訓練されたDFATは、VOT-RGBT2020で最先端の性能を達成し、新記録となるSOTAのEAOスコア0.4178を記録し、VOT-RGBT2020チャレンジで優勝した。

ABSTRACT

We address the problem of multi-modal object tracking in video and explore various options of fusing the complementary information conveyed by the visible (RGB) and thermal infrared (TIR) modalities including pixel-level, feature-level and decision-level fusion. Specifically, different from the existing methods, paradigm of image fusion task is heeded for fusion at pixel level. Feature-level fusion is fulfilled by attention mechanism with channels excited optionally. Besides, at decision level, a novel fusion strategy is put forward since an effortless averaging configuration has shown the superiority. The effectiveness of the proposed decision-level fusion strategy owes to a number of innovative contributions, including a dynamic weighting of the RGB and TIR contributions and a linear template update operation. A variant of which produced the winning tracker at the Visual Object Tracking Challenge 2020 (VOT-RGBT2020). The concurrent exploration of innovative pixel- and feature-level fusion strategies highlights the advantages of the proposed decision-level fusion method. Extensive experimental results on three challenging datasets, extit{i.e.}, GTOT, VOT-RGBT2019, and VOT-RGBT2020, demonstrate the effectiveness and robustness of the proposed method, compared to the state-of-the-art approaches. Code will be shared at extcolor{blue}{\emph{https://github.com/Zhangyong-Tang/DFAT}.

研究の動機と目的

• 照明の変化、遮蔽、ぼやけなど悪条件下での頑健な視覚オブジェクト追跡の課題に対処する。
• 従来の統合戦略（ピクセルレベル、特徴量レベル、意思決定レベル）の限界を乗り越え、RGBT追跡におけるそれらの相対的有効性を比較する。
• ペアドされたRGB-TIRデータでの共同学習を必要とせず、RGBおよび赤外（TIR）モダリティからの補完的情報を活用する意思決定レベル統合手法を開発する。
• RGBデータでのみ訓練された軽量で効率的なトラッカーを設計し、推論時に動的重み付けとテンプレート更新によりTIRモダリティを統合可能にする。
• 特にVOT-RGBT2020チャレンジで優勝を果たすなど、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• RGBおよびTIRモダリティの寄与を、正規化された分類スコアに基づいて動的に調整する意思決定レベル統合戦略（DFAT）を提案する。
• 分類ヘッドにおけるRGBおよびTIRブランチ間の固有のスコア差を是正するための動的バイアス補正機構を導入する。
• 分類ブランチと回帰ブランチの相対的影響をバランスさせるスケーリング要因を適用し、統合の頑健性を向上させる。
• 10フレームごとに、ターゲット補間を用いて線形テンプレート更新機構を実装し、時間経過に伴う正確なターゲット表現の維持を図る。
• SiamRPN++バックボーンをRGBデータのみで訓練し、TIR画像を3チャンネルに複製することで、推論時に赤外データを処理可能にする。
• 単純な平均化を避けるために、モダリティの信頼度に基づく適応的重みを学習する統合戦略を採用し、識別性能を向上させる。

Figure 1: Qualitative comparison between our method (DFAT) and Baseline, with ground truth on the VOT-RGBT2019 [ 4 ] dataset. Respectively, frames sampled from video sequences bus6 , face1 , and woman89 are shown in the first, second and third rows of the figure. Here ’Baseline’ means SiamRPN++ (RGB

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベル、特徴量レベル、意思決定レベルの統合戦略は、RGBT追跡における精度と頑健性の観点でどのように比較できるか？
• RQ2 推論時にTIRを意思決定レベル統合することで、RGBデータでのみ訓練されたトラッカーが優れた性能を達成できるか？
• RQ3 RGBおよびTIRの寄与に対する動的重み付けは、外見の変化が顕著な状況下で追跡精度にどのような影響を与えるか？
• RQ4 線形テンプレート更新機構は、長時間にわたるシーケンスにおいて追跡の安定性をいかに維持できるか？
• RQ5 単純ながらも適応的な意思決定レベル統合戦略は、複雑な特徴量レベルやピクセルレベル統合手法を上回ることができるか？

主な発見

• 提案されたDFATトラッカーは、VOT-RGBT2020データセットで最高のEAOスコア0.4178を記録し、新記録のSOTAを達成した。
• バイアス補正なしのDFATバージョン（W/O bias）はVOT-RGBT2020チャレンジで優勝し、EAOが0.4073を記録したが、バイアス補正を施すと0.4178に向上した。
• VOT-RGBT2019データセットでは、DFATはAUC 0.6652を達成し、SiamDW_T、JMMAC、mfDimpを含むすべての比較手法を上回った。
• 感度分析の結果、DFATはスケーリング要因に対して頑健であり、最適性能は0.47で得られ、0.5から0.47にチューニングした際の向上はわずか0.04%にとどまった。
• アブレーションスタディにより、動的重み付けとテンプレート更新の両方が不可欠であることが確認され、いずれかのコンponentを除去すると性能が著しく低下した。
• GTOT、VOT-RGBT2019、VOT-RGBT2020における広範な実験により、DFATの多様な追跡シナリオにおける頑健性と一般化性能が確認された。

Figure 2: Illustration of the proposed DFAT method. Here ’Cls’ and ’Reg’ represent classification and regression branches respectively. The left part describes the architecture of the feature extraction network (’Net’). The outputs from three convolutional layers are first projected into a common sp