[論文レビュー] Multi-modal Visual Tracking: Review and Experimental Comparison

Pengyu Zhang, Dong Wang+1 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 110被引用数 15

ひとこと要約

本論文は、RGB-DおよびRGB-Tトラッキングに焦点を当てた、マルチモーダルビジョントラッキング手法の包括的レビューと実験的比較を提示する。統一された分類法を提唱し、5つのベンチマークデータセットで29の最先端トラッカーを評価し、より高いロバストネスとリアルタイム性能を実現するためのモデル設計およびデータセット構築における主な課題と今後の方向性を特定する。

ABSTRACT

Visual object tracking, as a fundamental task in computer vision, has drawn much attention in recent years. To extend trackers to a wider range of applications, researchers have introduced information from multiple modalities to handle specific scenes, which is a promising research prospect with emerging methods and benchmarks. To provide a thorough review of multi-modal track-ing, we summarize the multi-modal tracking algorithms, especially visible-depth (RGB-D) tracking and visible-thermal (RGB-T) tracking in a unified taxonomy from different aspects. Second, we provide a detailed description of the related benchmarks and challenges. Furthermore, we conduct extensive experiments to analyze the effectiveness of trackers on five datasets: PTB, VOT19-RGBD, GTOT, RGBT234, and VOT19-RGBT. Finally, we discuss various future directions from different perspectives, including model design and dataset construction for further research.

研究の動機と目的

• 補助モダリティ、トラッキングフレームワーク、データセットの観点から分析することで、特にRGB-DおよびRGB-Tトラッキングを対象とした統一された分類法を提供すること。
• PTB、VOT19-RGBD、GTOT、RGBT234、VOT19-RGBTの5つの広く使われているデータセットで、29のマルチモーダルトラッカー（14のRGB-Dおよび15のRGB-T）を包括的かつ公平に評価すること。
• 遮蔽、照明変化などの困難な条件下における精度、速度、属性ベースのパフォーマンスの観点から、異なるトラッキングフレームワークの長所と短所を分析すること。
• モダリティの不整合、大規模なトレーニングデータの不足、欠損モダリティに対する十分なロバストネスメトリクスの欠如といった、マルチモーダルトラッキングにおける主な課題を特定すること。
• モデル設計（例：NAS、知識蒸留）およびデータセット構築（例：大規模なトレーニングセット、事前登録、ロバストネス評価）における今後の研究方向性を提案すること。

提案手法

• 補助モダリティ、トラッキングフレームワーク、データセット・メトリクスの組み合わせに基づき、56のマルチモーダルトラッキング手法を分類する統一された分類法を提案する。
• 5つのベンチマークデータセットで標準化された評価プロトコルを用いて、29の最先端のRGB-DおよびRGB-Tトラッカーを収集・評価する。
• 精度、成功率、速度といった標準的なメトリクスを用いて、遮蔽や照明変化などのさまざまな属性におけるトラッカーのパフォーマンスを定量的に比較する。
• 長期間の遮蔽や低照度状態などの困難なシナリオにおけるトラッカーの挙動を評価するための定性的分析を実施する。
• 空間的・時間的登録を重視し、共通の視野クロッピングを実施することで、不整合の問題を軽減するデータセット構築フレームワークを導入する。
• 深層学習ベースの統合戦略を検討し、深度および赤外データを標準のCNNアーキテクチャ（例：VGGNet、ResNet）の追加入力チャネルとして扱う。

実験結果

リサーチクエスチョン

• RQ1 RGB-DおよびRGB-Tトラッキング手法は、統一された分類法のもとでどのように体系的に分類・比較可能か？
• RQ2 相関フィルタ、シアンペアネットワーク、CNNベースのモデルなどの異なるトラッキングフレームワークは、マルチモーダル環境下でそれぞれどのような相対的長所・短所を有するか？
• RQ3 標準ベンチマーク上での遮蔽、照明変化、運動ブラーなどの多様な属性に対して、トラッカーはどのようにパフォーマンスを発揮するか？
• RQ4 特にモダリティの不整合やトレーニングサブセットの欠如という点で、現在のデータセットにどのような限界があるか？
• RQ5 モデル設計およびデータセット構築における今後の方向性（特に）は、マルチモーダルトラッキングのロバストネスとリアルタイム性能を向上させるのにどのように寄与するか？

主な発見

• 赤外モダリティの照明変化への耐性を考慮すると、低照度および遮蔽状況下でRGB-TトラッカーはRGB-Dトラッカーを上回る性能を示す。
• 深度および赤外データを標準のCNNアーキテクチャの追加入力チャネルとして扱う深層学習ベースの統合手法は、高い精度を達成するが、計算コストの増加を伴う。
• モダリティの不整合は、RGBT234で見られるように、粗いボクセルボックスが背景ノイズの学習を引き起こすなど、トラッカー性能を著しく低下させる。
• 現在のベンチマークにはトレーニングサブセットが存在しないため、多くの深層学習ベースのトラッカーが、小規模または合成データに依存して事前学習を行うことが制限要因となっている。
• 欠損モダリティ条件下でのロバストネスを明示的に評価する仕組みを含まない現在のベンチマークは、パフォーマンス評価における重要なギャップを示している。
• 知識蒸留やレイヤー選択（例：Huangら[127]）といった高速化手法により、最大100倍の高速化が達成され、精度の著しい損失なしにリアルタイムデプロイの可能性が示唆される。