[論文レビュー] TracKlinic: Diagnosis of Challenge Factors in Visual Tracking

Heng Fan, Fan Yang+3 more|arXiv (Cornell University)|Nov 18, 2019

Video Surveillance and Tracking Methods参考文献 47被引用数 8

ひとこと要約

TracKlinic は、1 つの主要なチャレンジ要因（例：隠蔽、ぼやけ、形状変化）を含む 2,390 ビデオのベンチマークを提供することで、視覚追跡の正確な要因別分析を可能にする画期的な診断ツールキットです。これにより、個々の要因に対するトラッカーの信頼性ある評価と比較が可能となり、重い形状変化と隠蔽が最も困難な要因であることが明らかになりました。一方、頻度は低いものの、視界外は特に致命的です。

ABSTRACT

Generic visual tracking is difficult due to many challenge factors (e.g., occlusion, blur, etc.). Each of these factors may cause serious problems for a tracking algorithm, and when they work together can make things even more complicated. Despite a great amount of efforts devoted to understanding the behavior of tracking algorithms, reliable and quantifiable ways for studying the per factor tracking behavior remain barely available. Addressing this issue, in this paper we contribute to the community a tracking diagnosis toolkit, TracKlinic, for diagnosis of challenge factors of tracking algorithms. TracKlinic consists of two novel components focusing on the data and analysis aspects, respectively. For the data component, we carefully prepare a set of 2,390 annotated videos, each involving one and only one major challenge factor. When analyzing an algorithm for a specific challenge factor, such one-factor-per-sequence rule greatly inhibits the disturbance from other factors and consequently leads to more faithful analysis. For the analysis component, given the tracking results on all sequences, it investigates the behavior of the tracker under each individual factor and generates the report automatically. With TracKlinic, a thorough study is conducted on ten state-of-the-art trackers on nine challenge factors (including two compound ones). The results suggest that, heavy shape variation and occlusion are the two most challenging factors faced by most trackers. Besides, out-of-view, though does not happen frequently, is often fatal. By sharing TracKlinic, we expect to make it much easier for diagnosing tracking algorithms, and to thus facilitate developing better ones.

研究の動機と目的

• 複数の同時作用する課題要因による影響を受けるため、視覚追跡ベンチマークにおける要因別信頼性評価の欠如を解消すること。
• 他の要因の干渉を排除することで、個々の課題要因におけるトラッカー動作の忠実な診断を可能にすること。
• フレームレベルのアノテーションを備えた大規模かつ高品質なベンチマークを提供し、追跡失敗の体系的分析を可能にすること。
• 特定の課題要因にわたる最先端トラッカーの公平な比較を促進すること。
• 制御された条件下でのトラッカーの頑健性、一貫性、および失敗パターンの理解を向上させること。

提案手法

• OTB-2015、TC-128、LaSOT の 461 ビデオをフレームレベルで 7 つの課題要因にアノテートし、合計 776K のアノテーションを取得。
• 2,390 個のシーケンスを抽出することで TracKlinic を構築。各シーケンスは 1 つの主要な課題要因のみを含むようにし、信頼性の高い分析が可能となる純度を確保。
• 成功スコア（閾値 0.5）と故障率の指標を用いて、各要因におけるトラッカー性能を評価する自動化された分析パイプラインを設計。
• 成功スコアの分散を用いて、トラッカーの異なる課題要因に対する一貫性を測定し、安定性を評価。
• 深層特徴とバウンディングボックス回帰／IoU予測を用いて、モデル設計の要因別頑健性への影響を評価。
• 10 個の最先端トラッカーを対象に、9 つの課題要因（複合要因を含む）について定性的および定量的分析を実施。

実験結果

リサーチクエスチョン

• RQ1 隠蔽や運動ぼやけなどの単一の課題要因に限定された状況で、視覚追跡アルゴリズムの性能はどの程度か？
• RQ2 どの課題要因がトラッカー性能に最も悪影響を及ぼし、異なるトラッカー間で故障率にどのような差が生じるか？
• RQ3 トラッカーは異なる種類の課題要因を処理する際にどの程度一貫性を示し、どの要因が最も高い性能分散を引き起こすか？
• RQ4 深層特徴や特定の設計要素（例：IoU予測）が、特定の要因に対する頑健性に与える相対的影響は何か？
• RQ5 隠蔽と回転、または背景の雑音といった複合要因は、単一要因と比較してトラッカーの故障率にどのように影響するか？

主な発見

• 隠蔽と重度の形状変化が、最も困難な要因であり、いくつかのトラッカーで故障率が 40％ を超える。
• 視界外は頻度は低いが、最も致命的な要因であり、多くの場合、完全なトラッカーの失敗を引き起こす。
• DiMP は 9 つの課題要因のうち 8 つで最高の性能を示し、特に背景モデリングが効果的であるため、背景の雑音に対して優れた性能を発揮。
• すべてのトラッカーが照明変化に対して頑健であり、故障率が 5％ 未満であった。これは、深層特徴がこの要因を効果的に軽減していることを示している。
• IoU-Net を搭載したトラッカーは RPN を搭載したものよりもわずかに優れた性能を示し、回帰精度の優位性が顕著。
• 視界外と背景の雑音では、性能の一貫性が低く、高複雑度のシナリオでの不安定性が示された。