[論文レビュー] A Survey for Deep RGBT Tracking

Zhangyong Tang, Tianyang Xu+1 more|arXiv (Cornell University)|Jan 23, 2022

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本調査では、深層RGBT追跡手法について包括的な概要を提供し、主なベンチマークにおいてMDNetベースとSiameseベースのフレームワークを比較している。RGBT210ではDMCNetが、LasHeRではCMPPが最高のパフォーマンスを示しており、リアルタイム性能と耐障害性を向上させるために、Transformerや改善された統合メカニズムを統合したエンドツーエンドアーキテクチャの統合を提唱している。

ABSTRACT

Visual object tracking with the visible (RGB) and thermal infrared (TIR) electromagnetic waves, shorted in RGBT tracking, recently draws increasing attention in the tracking community. Considering the rapid development of deep learning, a survey for the recent deep neural network based RGBT trackers is presented in this paper. Firstly, we give brief introduction for the RGBT trackers concluded into this category. Then, a comparison among the existing RGBT trackers on several challenging benchmarks is given statistically. Specifically, MDNet and Siamese architectures are the two mainstream frameworks in the RGBT community, especially the former. Trackers based on MDNet achieve higher performance while Siamese-based trackers satisfy the real-time requirement. In summary, since the large-scale dataset LasHeR is published, the integration of end-to-end framework, e.g., Siamese and Transformer, should be further considered to fulfil the real-time as well as more robust performance. Furthermore, the mathematical meaning should be more considered during designing the network. This survey can be treated as a look-up-table for researchers who are concerned about RGBT tracking.

研究の動機と目的

• 最近の深層ニューラルネットワークベースのRGBTトラッカーに関する体系的レビューを提供すること。
• GTOT、RGBT210、RGBT234、LasHeR、VOT-RGBT2019/2020などの主要ベンチマークにおいて、既存のRGBTトラッカーのパフォーマンスを比較すること。
• 主なアーキテクチャ、特にMDNetとSiameseネットワークの強みと限界を特定すること。
• RGBT追跡におけるTransformerや時系列モデリングの潜在的役割を含む、未だ十分に探査されていない研究分野を強調すること。
• 数学的厳密性の欠如と統合メカニズムの解釈の不足といったギャップを特定することで、今後の研究を導くこと。

提案手法

• RGBTトラッカーを3つのグループに分類する：MDNetベース、Siameseベース、その他のアーキテクチャ。
• マルチモーダル特徴統合に用いられる統合メカニズム（注目モジュール、適応的統合、ゲート付きネットワークなど）をレビュー・比較する。
• 6つのベンチマーク（GTOT、RGBT210、RGBT234、LasHeR、VOT-RGBT2019、VOT-RGBT2020）でトラッカーを評価する。
• 標準指標（精度（↑）、成功度（↑）、正確性（↑）、耐障害性（↑）、EAO（↑））を用いてパフォーマンスを分析する。
• DMCNetにおけるモダリティ固有のアダプタ、品質感知統合、相互ガイド付き注目メカニズムといったアーキテクチャ的革新を強調する。
• エンドツーエンド学習フレームワークの必要性と、ネットワーク設計における理論的根拠の強化の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 RGBT追跡分野で支配的である深層学習アーキテクチャは何か、それぞれのパフォーマンスはどのように比較できるか？
• RQ2 MDNetベースとSiameseベースのトラッカーは、精度、耐障害性、リアルタイム性能においてどのように異なるか？
• RQ3 RGBT210、LasHeR、VOT-RGBT2019/2020などの主要ベンチマークで最高のパフォーマンスを示したRGBTトラッカーは何か？
• RQ4 なぜ現在のRGBT追跡手法では、Transformerとエンドツーエンド学習フレームワークの統合が十分に探査されていないのか？
• RQ5 現在の統合メカニズムにおける主な制限は何であり、数学的原則を活用することでどのように設計を改善できるか？

主な発見

• RGBT210ベンチマークでは、DMCNetが最高の精度（0.797）と成功度（0.555）を記録した。
• RGBT234データセットでは、DMCNetが精度0.839、成功度0.593を達成し、リーダーとなった。
• LasHeRデータセットでは、APFNetが最も優れたパフォーマンスを示し、精度0.905、成功度0.739を記録した。
• VOT-RGBT2019では、mfDiMPが最高のEAOスコア（0.3879）を達成したが、DFATがVOT-RGBT2020チャレンジで優勝した。
• GTOTでは、CMPPが最高の精度（0.926）を記録した。一方、ADRNetは同じベンチマークで最高の成功度（0.739）を達成した。
• 本調査では、MDNetベースのトラッカーがより高い精度を達成している一方で、Siameseベースのトラッカーがリアルタイム要件をよりよく満たしていることが判明した。