[論文レビュー] Understanding and Diagnosing Visual Tracking Systems

Naiyan Wang, Jianping Shi+2 more|arXiv (Cornell University)|Apr 23, 2015

Video Surveillance and Tracking Methods参考文献 37被引用数 53

ひとこと要約

本論文は、トラッカーを5つの構成要素（運動モデル、特徴抽出器、観測モデル、モデル更新機構、アンサンブル後処理部）に分解することで、視覚追跡システムの診断を可能にするモジュラーなフレームワークを提案する。ベンチマークデータセットを用いたアブレーション解析を通じて、特徴抽出器が最も重要な要因であることが判明した。一方、特徴が強固な場合には観測モデルの影響は限定的である。また、アンサンブル後処理は性能を顕著に向上させ、特に多様性のあるトラッカーを組み合わせた場合に顕著な効果を示し、単純な構成要素でも最先端の結果を達成可能である。

ABSTRACT

Several benchmark datasets for visual tracking research have been proposed in recent years. Despite their usefulness, whether they are sufficient for understanding and diagnosing the strengths and weaknesses of different trackers remains questionable. To address this issue, we propose a framework by breaking a tracker down into five constituent parts, namely, motion model, feature extractor, observation model, model updater, and ensemble post-processor. We then conduct ablative experiments on each component to study how it affects the overall result. Surprisingly, our findings are discrepant with some common beliefs in the visual tracking research community. We find that the feature extractor plays the most important role in a tracker. On the other hand, although the observation model is the focus of many studies, we find that it often brings no significant improvement. Moreover, the motion model and model updater contain many details that could affect the result. Also, the ensemble post-processor can improve the result substantially when the constituent trackers have high diversity. Based on our findings, we put together some very elementary building blocks to give a basic tracker which is competitive in performance to the state-of-the-art trackers. We believe our framework can provide a solid baseline when conducting controlled experiments for visual tracking research.

研究の動機と目的

• 視覚追跡研究における体系的かつ理解が不足している現状に対処し、全システムのベンチマーク評価が構成要素レベルの寄与を隠蔽していることへの対処。
• トラッキングコミュニティにおける一般的な仮定に疑問を呈し、トラッカー構成要素の相対的な重要性を評価すること。
• 各構成要素が視覚追跡システムに与える影響を分離・診断できる、標準化されたモジュラーなフレームワークを提供すること。
• 深層学習や複雑なアーキテクチャに依存しない、単純だが適切に選択された構成要素の組み合わせでも、最先端のトラッカーと同等の性能を達成できることを示すこと。

提案手法

• 視覚トラッカーを5つのモジュラー構成要素（運動モデル、特徴抽出器、観測モデル、モデル更新機構、アンサンブル後処理部）に分解する。
• OTB や VOT といった標準ベンチマークを用い、他の要因を固定した状態で各構成要素を体系的に置き換えたり削除したりするアブレーション解析を実施する。
• HOG やカラー名前、線形SVM、Mean-Shift、リッジ回帰など、標準的で市販のコンponentsを用いてベースライントラッカーを構築する。
• 多様性のあるトラッカーを組み合わせたアンサンブル後処理を適用し、性能向上を評価。高多様性・低多様性の両方の組み合わせを検証する。
• オーバーラップ率曲線のAUCや中央画素距離といった標準的な評価指標を用い、各構成要素の性能を定量化する。
• 複数のデータセットとトラックを用いて検証することで、構成要素レベルの結論の堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 視覚トラッカーにおけるどの構成要素が全体の性能に最も大きな影響を与えるか？
• RQ2 現代のトラッキングシステムにおいて、観測モデルと特徴抽出器の相対的寄与度はどのように比較できるか？
• RQ3 アンサンブル後処理はどの程度性能を向上させることができるのか。また、トラッカーの多様性はその向上効果にどのように影響するか？
• RQ4 運動モデルおよびモデル更新機構における実装の詳細は、追跡精度にどのように影響するか？
• RQ5 基本的で教科書的なコンponentsから構成される単純なトラッカーは、最先端のトラッカーと同等の性能を達成できるか？

主な発見

• 特徴抽出器がトラッカー全体の性能に最も大きな影響を与える重要な構成要素である。他の構成要素よりも顕著に性能に寄与している。
• 強力な特徴が使用される場合には、観測モデルの影響は最小限に抑えられ、従来の研究で広く注目されているにもかかわらず、その重要性は過大評価されている可能性がある。
• モデル更新機構には、追跡精度に顕著な影響を与える微妙な設計の詳細が多く含まれているが、それらを体系的に設計する手法はまだ不足している。
• アンサンブル後処理は顕著な性能向上をもたらし、特に構成トラッカーが多様な場合には顕著な効果を示す。これは非常に効果的だが、まだ十分に検討されていない技術である。
• 単純でモジュラーなコンponentsを、丁寧に組み合わせることで、深層学習や複雑なアーキテクチャを用いなくても、最先端のシステムと同等の性能を達成できるトラッカーを構築可能である。
• 運動モデルの詳細（例：時間的整合性、予測戦略）は、トラッカーのロバスト性および精度に測定可能かつ非自明な影響を与える。