[論文レビュー] Performance Evaluation Methodology for Long-Term Visual Object Tracking

Alan Lukežič, Luka Čehovin Zajc+3 more|arXiv (Cornell University)|Jun 19, 2019

Video Surveillance and Tracking Methods被引用数 2

ひとこと要約

本論文は、長期間の視覚的オブジェクト追跡のための新しいパフォーマンス評価手法とベンチマークを導入し、短期間の指標を一般化し、疎なアノテーションに強く、長期間の追跡性能を正確に評価できる精度、再現率、Fスコアの新しい測定値を特徴としています。主な貢献は、VOTツールキットに統合された標準的でスケーラブルな評価フレームワークであり、ターゲットの頻繁な消失と高長さスケーラビリティを伴うシーケンスにおいて、長期間トラッカーの信頼性の高い比較を可能にします。

ABSTRACT

A long-term visual object tracking performance evaluation methodology and a benchmark are proposed. Performance measures are designed by following a long-term tracking definition to maximize the analysis probing strength. The new measures outperform existing ones in interpretation potential and in better distinguishing between different tracking behaviors. We show that these measures generalize the short-term performance measures, thus linking the two tracking problems. Furthermore, the new measures are highly robust to temporal annotation sparsity and allow annotation of sequences hundreds of times longer than in the current datasets without increasing manual annotation labor. A new challenging dataset of carefully selected sequences with many target disappearances is proposed. A new tracking taxonomy is proposed to position trackers on the short-term/long-term spectrum. The benchmark contains an extensive evaluation of the largest number of long-term tackers and comparison to state-of-the-art short-term trackers. We analyze the influence of tracking architecture implementations to long-term performance and explore various re-detection strategies as well as influence of visual model update strategies to long-term tracking drift. The methodology is integrated in the VOT toolkit to automate experimental analysis and benchmarking and to facilitate future development of long-term trackers.

研究の動機と目的

• 長期間の視覚的オブジェクト追跡における標準化された評価プロトコルの欠如を是正し、トラッカー開発の進展に不可欠であることを目的とします。
• 長期間のシーケンスにおいて再検出能力やドリフト耐性を評価できない、従来の短期間追跡ベンチマークの限界を克服することを目的とします。
• 長期間追跡シナリオにおける位置特定の正確さと検出の正確さを正確に反映するパフォーマンス測定値を開発することを目的とします。
• ターゲットの頻繁な消失と豊富な属性アノテーションを備えた、長期間追跡能力を徹底的にテストできる新しいベンチマークデータセットを構築することを目的とします。
• 評価手法をVOTツールキットに統合し、将来の長期間トラッカー開発のための自動化、再現可能でスケーラブルなベンチマークを可能にすることを目的とします。

提案手法

• 短期間の指標を一般化し、検出の信頼性とターゲット不在の報告を組み込むことで、長期間追跡に特化した新しいパフォーマンス測定値（追跡精度、再現率、Fスコア）を提案します。
• 50フレームごとや200フレームごとの間隔でアノテーションが行われるような疎なアノテーションに対しても信頼性を保つ評価プロトコルを設計し、同等の人的作業量で最大200倍の長さのシーケンスのアノテーションが可能になります。
• 50の注意深く選別された長期間シーケンスから構成される新しいベンチマークデータセット（LTB50）を構築し、各シーケンスに複数のターゲット消失が含まれ、9つの視覚的属性がアノテートされています。
• 短期間／長期間追跡の分類法を導入し、再検出戦略とモデル更新戦略に基づいてトラッカーをスケール上で分類する分類体系を提案します。
• 評価の各要素（指標とプロトコル）をすべてVOTツールキットに実装・統合し、自動化されたベンチマークと再現可能性を実現します。
• トラッカーのアーキテクチャ、再検出戦略、モデル更新メカニズム（例：ハードネガティブマイニング、慎重な更新）の広範なアブレーションスタディを実施し、長期間のドリフトとパフォーマンスに与える影響を分析します。

実験結果

リサーチクエスチョン

• RQ1 ターゲットの消失が発生する状況下でも、位置特定の正確さと検出能力の両方をよりよく反映できる、長期間追跡のためのパフォーマンス測定値はどのように設計できるか？
• RQ2 提案されたパフォーマンス測定値はどの程度疎な時間的アノテーションに頑健であり、アノテーションコストを増加させることなく、極めて長い追跡シーケンスの作成を可能にするか？
• RQ3 優れたパフォーマンスを示す長期間トラッカーと低性能なトラッカーを区別する、主なアーキテクチャ的および戦略的差異は何か？
• RQ4 再検出戦略と視覚的モデル更新メカニズムは、長期間追跡のドリフトと全体的なパフォーマンスにどのように影響を与えるか？
• RQ5 最先端の短期間トラッカーはどの程度長期間追跡に適応可能であり、その際のパフォーマンスのトレードオフは何か？

主な発見

• 提案された追跡Fスコア測定値は短期間の指標を一般化し、従来の測定値と比較して、追跡行動の解釈性と識別能が優れています。
• 評価手法はアノテーションの疎らさに対して非常に頑健であり、50フレームごとのアノテーションのみで信頼性の高いパフォーマンス分析が可能で、200フレームごとのアノテーションでも一貫した順位付けが維持されます。
• 最高のパフォーマンスを示した長期間トラッカー、FCLT [38] は、短期間追跡と検出の両方で判別的相関フィルタを用い、マルチスケールのモデル更新と信頼度に基づく不在予測を組み合わせています。
• 驚くべきことに、最先端の短期間トラッカーMDNet [28] が長期間追跡で2位のパフォーマンスを達成し、慎重な特徴更新とハードネガティブマイニングの価値が浮き彫りになりました。
• 完全な遮蔽と視界外の消失が最も挑戦的な属性であり、次に類似する物体と視点の変化が続くことから、現在の長期間トラッカーの主な失敗要因が特定されました。
• CNNベースの検出器は、外観変化に強い位置特定性能を示し、他の手法を上回りますが、視覚的に類似した干渉要因が存在する場合には失敗することがあります。一方、判別的相関フィルタは、高速性と頑健性の両面で強く、特に注意深く訓練された場合に大きな可能性を示しています。