[論文レビュー] Tracking for Half an Hour

Ran Tao, Efstratios Gavves+1 more|arXiv (Cornell University)|Nov 28, 2017

Video Surveillance and Tracking Methods参考文献 20被引用数 13

ひとこと要約

本論文では、30分間の監視映像やスポーツ映像などの長時間の動画シーケンスにおいても正確性を維持できる長期間用のビジュアルトラッカーを提案する。グローバルおよびローカル探索戦略を組み合わせ、自己品質評価モジュールを備えることで、モデル更新を慎重に行える。このトラッカーは、UAV20L や YouTubeLong といった長期間用ベンチマークで最先端の手法を上回り、短時間トラッキング手法とは異なり、繰り返しループしても安定性を保つ。

ABSTRACT

Long-term tracking requires extreme stability to the multitude of model updates and robustness to the disappearance and loss of the target as such will inevitably happen. For motivation, we have taken 10 randomly selected OTB-sequences, doubled each by attaching a reversed version and repeated each double sequence 20 times. On most of these repetitive videos, the best current tracker performs worse on each loop. This illustrates the difference between optimization for short-term versus long-term tracking. In a long-term tracker a combined global and local search strategy is beneficial, allowing for recovery from failures and disappearance. Most importantly, the proposed tracker also employs cautious updating, guided by self-quality assessment. The proposed tracker is still among the best on the 20-sec OTB-videos while achieving state-of-the-art on the 100-sec UAV20L benchmark. On 10 new half-an-hour videos with city bicycling, sport games etc, the proposed tracker outperforms others by a large margin where the 2010 TLD tracker comes second.

研究の動機と目的

• 短時間トラッキングベンチマーク（例：OTB, VOT）が長期間トラッカーの安定性と耐性を評価する上で限界を示す問題を解決すること。
• 長時間の動画シーケンスにおいて、モデルドリフトとサンプリングドリフトがどのように蓄積され、トラッカーの性能劣化を引き起こすかを調査すること。
• ターゲットの消失・再出現が繰り返される状況でも、繰り返しループや長時間にわたって性能を維持できるトラッカーを開発すること。
• モデルドリフトを防ぐために、モデル更新を慎重に行うための自己評価メカニズムを導入すること。

提案手法

• トラッキング障害やターゲットの消失からの回復を図るため、グローバル探索とローカル探索を組み合わせたハイブリッド探索戦略を採用する。
• 予測の信頼性を評価する自己品質評価モジュールを導入し、モデル更新の可否を判断する。
• 自己評価モジュールの出力に基づき、段階的なモデルドリフトのリスクを低減する慎重なモデル更新を実施する。
• 二重ループ実験設定を採用：10個のOTBシーケンスを逆転させ、20回繰り返すことで長期間トラッキングをシミュレートする。
• 短時間ベンチマーク（OTB100）と長期間ベンチマーク（UAV20L, YouTubeLong）の両方で性能を評価し、トレードオフを分析する。
• すべてのベンチマークで性能比較の主な指標としてAUCを採用する。

実験結果

リサーチクエスチョン

• RQ1 最先端の短時間トラッキング手法は、繰り返しループする長時間の動画シーケンスにおいて、どのように性能が劣化するか？
• RQ2 ターゲットの消失・再出現や動画カットが発生する30分間の動画において、トラッカーはどの程度の正確性を維持できるか？
• RQ3 自己評価メカニズムは、長期間にわたるモデルドリフトを防ぐために、モデル更新を効果的に導くことができるか？
• RQ4 グローバル・ローカル探索戦略は、純粋にローカル探索に比べて、障害回復性と長期間安定性をどのように向上させるか？

主な発見

• 提案手法のトラッカーは、20回の繰り返し動画ループにおいても性能を維持または向上させる一方、トップパフォーマンスを示す短時間トラッカーであるECOは一貫した性能劣化を示す。
• 100秒のUAV20Lベンチマークでは、提案手法のトラッカーが最先端のパフォーマンスを達成し、他のすべてのトラッカーを上回る。
• 都市部の自転車走行やスポーツゲームの新規30分間動画10本において、提案手法のトラッカーは他のすべての手法を大きく上回り、TLD [13] が2位にランクインする。
• 長時間のターゲット不在を含むYouTubeLongでは、提案手法のトラッカーとTLDのみがターゲットを最終まで追跡に成功し、提案手法が大幅にリードする。
• 短時間用のOTB100では、提案手法のトラッカーはAUC 59.8%を達成し、短時間用で最先端の手法（ECO: 69.1、MDNet: 67.8）と同等の性能を示すが、長期間用に最適化されているにもかかわらず。
• モデル更新を一切行わない「保守的バージョン」のトラッカーでさえ、無限長または繰り返し動画において安定かつ効果的に機能し、劣化なしに頑健性を示す。