[論文レビュー] RGB-T Object Tracking:Benchmark and Baseline

Chenglong Li, Xinyan Liang+3 more|arXiv (Cornell University)|May 23, 2018

Video Surveillance and Tracking Methods参考文献 48被引用数 14

ひとこと要約

本稿では、234Kフレームを含む大規模なRGB-T追跡ベンチマーク「RGBT234」と、高精度なモodal同調および遮蔽アノテーションを備えたものを紹介する。また、パッチレベルのグラフ構造と適応的融合を用いて動的オブジェクト表現を学習するグラフベースのトラッカー（SGT）を提案し、遮蔽、低照度、カメラの動きといった困難な状況下でも最先端の手法を上回る性能を発揮する。

ABSTRACT

RGB-Thermal (RGB-T) object tracking receives more and more attention due to the strongly complementary benefits of thermal information to visible data. However, RGB-T research is limited by lacking a comprehensive evaluation platform. In this paper, we propose a large-scale video benchmark dataset for RGB-T tracking.It has three major advantages over existing ones: 1) Its size is sufficiently large for large-scale performance evaluation (total frame number: 234K, maximum frame per sequence: 8K). 2) The alignment between RGB-T sequence pairs is highly accurate, which does not need pre- or post-processing. 3) The occlusion levels are annotated for occlusion-sensitive performance analysis of different tracking algorithms.Moreover, we propose a novel graph-based approach to learn a robust object representation for RGB-T tracking. In particular, the tracked object is represented with a graph with image patches as nodes. This graph including graph structure, node weights and edge weights is dynamically learned in a unified ADMM (alternating direction method of multipliers)-based optimization framework, in which the modality weights are also incorporated for adaptive fusion of multiple source data.Extensive experiments on the large-scale dataset are executed to demonstrate the effectiveness of the proposed tracker against other state-of-the-art tracking methods. We also provide new insights and potential research directions to the field of RGB-T object tracking.

研究の動機と目的

• RGB-Tオブジェクト追跡のための包括的で大規模な評価プラットフォームの不足に対処する。
• 従来のデータセットが抱える限界（小規模、モダリティ同調の不正確さ、属性アノテーションの不足）を克服する。
• RGB-T追跡アルゴリズムのための大規模かつ信頼性の高い評価を可能にする標準化されたベンチマークを提供する。
• 困難な条件下での強力な追跡を実現するための有効な統合戦略と特徴表現技術を調査する。
• 適応的統合や背景抑制といった、RGB-T追跡性能を向上させるために重要なコンポーネントについての新たな知見を提供する。

提案手法

• 234のRGB-T動画シーケンス（合計234Kフレーム、1シーケンスあたり最大8Kフレーム）を含む大規模な動画ベンチマーク「RGBT234」を提案。
• 画像パッチをノードとするグラフベースのオブジェクト表現を導入し、ADMMに基づく最適化により、グラフ構造、ノード重み、エッジ重みを動的に学習する。
• RGBと赤外特徴の適応的統合のため、最適化フレームワークにモダリティ重みを組み込む。
• パッチレベルの特徴表現と学習された重みを用いて、背景汚染を抑えるために構造的SVMをオンライン追跡に適用。
• 空間的・外観的類似性に基づいてパッチ重みを計算するために、半教師付き学習（例：多様体ランク）を用いる。
• グラフ構造、ノード/エッジ重み、モダリティ統合係数を一括して最適化する統一ADMMフレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 遮蔽、低照度、カメラの動きといった多様な困難な属性下で、RGB-Tトラッカーの性能はどのように変化するか？
• RQ2 学習されたモダリティ重みによる適応的統合は、直接連結や固定重み統合と比較して、追跡のロバストネスにどのような影響を与えるか？
• RQ3 重み付きパッチ表現とグラフベースモデリングは、追跡精度の向上とモデルのずれの低減にどの程度寄与するか？
• RQ4 低解像度または変形しやすいターゲットを扱う際、深層学習ベースの手法（例：SGT）と比較して、非深層学習ベースの手法はどの程度有効か？
• RQ5 適応的統合、背景抑制、強力な特徴学習といったコンポーネントの中で、RGB-T追跡性能の向上に最も寄与するのはどれか？

主な発見

• 赤外データは、低照度、部分的遮蔽、背景の雑音が強い状況下で追跡性能を顕著に向上させ、特に小規模または変形しやすいターゲットに対して顕著である。
• 提案されたSGTトラッカーは、遮蔽、カメラの動き、背景雑音といった複数の属性において、最先端の手法を上回る性能を発揮する。
• 学習されたモダリティ重みによるRGBと赤外の適応的統合は一貫して性能向上をもたらすが、直接統合（例：CFnet+RGBT）はしばしば性能が劣る。
• 重み付きパッチ表現（例：SGT、SOWP+RGBT）は背景干渉を効果的に抑制し、モデルのずれを低減する。
• 深層学習ベースのトラッカー（例：ECO、C-COT）は、識別的特徴学習によりスケール変化や運動ブラーの処理に優れている。
• 複雑なシーンでは、単純な特徴連結よりも、パッチ重み付けとセグメンテーションマスクによる背景抑制がはるかに効果的である。