[論文レビュー] Unsupervised Lightweight Single Object Tracking with UHP-SOT++

Zhiruo Zhou, Hongyu Fu+2 more|arXiv (Cornell University)|Nov 15, 2021

Video Surveillance and Tracking Methods参考文献 45被引用数 5

ひとこと要約

UHP-SOT++ は、背景の運動モデリングとオブジェクトボックス軌道モデリングを用いて STRCF ベースラインを向上させ、改善された統合戦略により耐性と正確性を向上させた、教師なしで軽量な単一オブジェクトトラッカーを提案する。これは、事前学習を必要とせず、最小限のモデルサイズで動作し、i5 CPU で 20 FPS で実行される。教師なしトラッカーの中で最先端の性能を達成している。

ABSTRACT

An unsupervised, lightweight and high-performance single object tracker, called UHP-SOT, was proposed by Zhou et al. recently. As an extension, we present an enhanced version and name it UHP-SOT++ in this work. Built upon the foundation of the discriminative-correlation-filters-based (DCF-based) tracker, two new ingredients are introduced in UHP-SOT and UHP-SOT++: 1) background motion modeling and 2) object box trajectory modeling. The main difference between UHP-SOT and UHP-SOT++ is the fusion strategy of proposals from three models (i.e., DCF, background motion and object box trajectory models). An improved fusion strategy is adopted by UHP-SOT++ for more robust tracking performance against large-scale tracking datasets. Our second contribution lies in an extensive evaluation of the performance of state-of-the-art supervised and unsupervised methods by testing them on four SOT benchmark datasets - OTB2015, TC128, UAV123 and LaSOT. Experiments show that UHP-SOT++ outperforms all previous unsupervised methods and several deep-learning (DL) methods in tracking accuracy. Since UHP-SOT++ has extremely small model size, high tracking performance, and low computational complexity (operating at a rate of 20 FPS on an i5 CPU even without code optimization), it is an ideal solution in real-time object tracking on resource-limited platforms. Based on the experimental results, we compare pros and cons of supervised and unsupervised trackers and provide a new perspective to understand the performance gap between supervised and unsupervised methods, which is the third contribution of this work.

研究の動機と目的

• 事前学習や大規模なアノテーションを必要とせずに、教師ありと教師なしの単一オブジェクトトラッカーの性能格差を埋めること。
• ドローンやモバイルデバイスなどのリソース制限のあるプラットフォームでも、リアルタイムで高精度なトラッキングを可能にすること。
• 運動ベースのモデリングにより、トラッキングのずれ、遮蔽、外観の変化に対する耐性を高めること。
• ブラックボックスな深層学習トラッカーの代替として、透明性があり解釈可能な手法を提供し、未観測オブジェクトに対しても強い汎化性能を発揮すること。
• 精度、効率、未観測オブジェクトへの適応性という観点から、教師ありと教師なしトラッキングのトレードオフを実証的に分析すること。

提案手法

• STRCF トラッカーに、背景の運動モデリングとオブジェクトボックス軌道予測の2つの新しいモジュールを追加する。
• 背景の運動モデリングを用いて、オブジェクト周辺の背景領域における運動パターンを分析し、ずれを検出・是正する。
• オブジェクトボックス軌道モデリングを適用し、過去の運動傾向に基づいて将来のオブジェクト位置を予測することで、遮蔽時における耐性を向上させる。
• 学習された信頼度重みを用いて DCF、背景の運動、軌道モデルからの提案を統合する、新しい適応型統合戦略を採用する。
• 完全に教師なしの設定で動作させ、ビデオデータセットでのアノテーション付き学習データや事前学習を一切必要としない。
• 高速な推論を実現するため、フーリエドメインにおける相関を活用し、コード最適化なしに i5 CPU で 20 FPS を達成する。

実験結果

リサーチクエスチョン

• RQ1 教師ありの深層学習ベースのトラッカーと同等の性能を、事前学習や大規模なアノテーションを一切用いずに達成できるか？
• RQ2 背景の運動とオブジェクト軌道モデリングを統合することで、遮蔽や外観変化にさらされた長期トラッキングにおいて、耐性がどのように向上するか？
• RQ3 洗練された統合戦略が、教師なし設定における複数のトラッキング提案を統合する上で、どのような影響を及ぼすか？
• RQ4 精度、速度、未観測オブジェクトへの汎化性能という観点から、教師ありと教師なしトラッカーの性能特性にどのような差が生じるか？
• RQ5 軽量で教師なしのトラッカーは、エッジデバイスで効率的に動作しながらも、高い正確性を維持できるか？

主な発見

• UHP-SOT++ は、OTB2015、TC128、UAV123、LaSOT のベンチマークで、すべての従来の教師なし単一オブジェクトトラッカーを上回っている。
• UHP-SOT++ は、SiamRPN++ などの深層学習ベースの手法と比較して、教師なしトラッカーの中で最先端の性能を達成しており、性能格差を縮小している。
• コード最適化なしに i5 CPU で 20 FPS で動作し、高い効率性とリアルタイム性能を示している。
• UHP-SOT++ は、完全な遮蔽、スケール変化、アスペクト比の変化を伴う困難なシーケンスにおいても、トラッキングの喪失を正常に回復している。
• DCF、背景の運動、軌道モデルの統合により、オブジェクトボックス予測の耐性と柔軟性が顕著に向上している。
• 実験の結果、UHP-SOT++ のような教師なしトラッカーは、教師ありの対応手法よりも、珍しいまたは未観測のオブジェクトカテゴリに対して優れた汎化性能を発揮することが示された。