[論文レビュー] Single Object Tracking Research: A Survey

Ruize Han, Wei Feng+2 more|arXiv (Cornell University)|Apr 25, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本調査では、コンピュータビジョンにおける単一オブジェクト追跡の包括的な概要を提供しており、コアな相関フィルタおよびシAMESEネットワークフレームワーク、ディープラーニングベースの手法、および遮蔽、変形、長期追跡の処理戦略に焦点を当てている。ベンチマーク、トレンド、今後の方向性（マルチモーダル融合や動画理解タスクとの統合を含む）を分析している。

ABSTRACT

Visual object tracking is an important task in computer vision, which has many real-world applications, e.g., video surveillance, visual navigation. Visual object tracking also has many challenges, e.g., object occlusion and deformation. To solve above problems and track the target accurately and efficiently, many tracking algorithms have emerged in recent years. This paper presents the rationale and representative works of two most popular tracking frameworks in past ten years, i.e., the corelation filter and Siamese network for object tracking. Then we present some deep learning based tracking methods categorized by different network structures. We also introduce some classical strategies for handling the challenges in tracking problem. Further, this paper detailedly present and compare the benchmarks and challenges for tracking, from which we summarize the development history and development trend of visual tracking. Focusing on the future development of object tracking, which we think would be applied in real-world scenes before some problems to be addressed, such as the problems in long-term tracking, low-power high-speed tracking and attack-robust tracking. In the future, the integration of multimodal data, e.g., the depth image, thermal image with traditional color image, will provide more solutions for visual tracking. Moreover, tracking task will go together with some other tasks, e.g., video object detection and segmentation.

研究の動機と目的

• コンピュータビジョンにおける単一オブジェクト追跡の進化と現在の状態を体系的にレビューすること。
• 相関フィルタおよびシAMESEネットワークの2つの主要な追跡フレームワークの核心的原則と代表的業績を分析すること。
• ネットワークアーキテクチャに基づいて、ディープラーニングベースの追跡手法を分類し、検討すること。
• 遮蔽、変形、長期追跡、および敵対的攻撃への耐性といった主な課題を特定し、それらを議論すること。
• 今後の研究方向性を予測すること、特にマルチモーダルデータ統合と動画オブジェクト検出・セグメンテーションなどの関連タスクとのマルチタスク学習。

提案手法

• 追跡手法を2つの主要なパラダイムに分類する：相関フィルタベースのフレームワークとシAMESEネットワークベースのフレームワーク。
• ネットワーク構造に基づいてディープラーニングベースの追跡手法をレビューする。例：シAMESEツイン、ツーサーフィスネットワーク、トランスフォーマー基盤のアーキテクチャ。
• 古典的な追跡課題の処理戦略を分析する。例：遮蔽の推論、外観モデル化、運動推定。
• 主な追跡ベンチマーク（例：OTB、VOT、LaSOT、TrackingNet）を評価し、データセット間でのパフォーマンスを比較する。
• 従来のアプローチからディープラーニングベースのアプローチへの視覚追跡の発展の軌跡を検討する。
• 今後の研究方向性を提言する。例：RGBに加え、深度および赤外データの統合、動画レベルのタスク（検出・セグメンテーション）との統合。

実験結果

リサーチクエスチョン

• RQ1 単一オブジェクト追跡における相関フィルタおよびシAMESEネットワークフレームワークの核心的設計原則と代表的メソッドは何か？
• RQ2 ネットワークアーキテクチャとパフォーマンスの観点から、ディープラーニングベースの追跡手法はどのように進化してきたか？
• RQ3 遮蔽、変形、長期追跡の失敗に対処するための最も効果的な戦略は何か？
• RQ4 主なベンチマークは追跡パフォーマンスをどのように評価しており、アルゴリズムの強みと弱みを明らかにしているか？
• RQ5 実世界での視覚追跡システムの展開に向けた主な今後の方向性は何か？

主な発見

• 相関フィルタベースの手法は、特に低複雑性のシナリオにおいて、効率的な相関演算のおかげでリアルタイム追跡に有効である。
• シAMESEネットワークは、強力な特徴学習能力と外観変動への耐性のおかげで、現代の追跡において支配的である。
• ディープラーニングベースの手法は、標準ベンチマークにおいて従来の手法を著しく上回っており、特に変形や運動ぼかしの処理において顕著である。
• 長期追跡は依然として大きな課題であり、特に長時間の遮蔽や外観ドリフトが発生する場合に顕著である。
• 敵対的攻撃への耐性、低消費電力・高速度での追跡は、実世界への展開に向けた重要な未解決問題として特定された。
• 今後の追跡システムは、マルチモーダルデータ（例：深度、赤外）の統合と、検出やセグメンテーションなどの関連動画タスクとの共同最適化が期待される。