[論文レビュー] Saliency-Enhanced Robust Visual Tracking

Çağlar Aytekin, Francesco Cricri+1 more|arXiv (Cornell University)|Feb 8, 2018

Video Surveillance and Tracking Methods参考文献 12被引用数 3

ひとこと要約

本論文では、深層顕著オブジェクト検出特徴を離散相関フィルタ（DCF）ベースのフレームワークに統合することで、顕著性を強化した視覚追跡手法ECOSALを提案する。時間的整合性に基づいて顕著性応答を適応的に重み付けすることで、視点変化や外観変化に対してより高いロバスト性を実現し、9.3 fpsのリアルタイム性能を維持しながら、OTB-2013およびUAV-123ベンチマークの困難なシーケンスにおいて最先端の性能を達成した。

ABSTRACT

Discrete correlation filter (DCF) based trackers have shown considerable success in visual object tracking. These trackers often make use of low to mid level features such as histogram of gradients (HoG) and mid-layer activations from convolution neural networks (CNNs). We argue that including semantically higher level information to the tracked features may provide further robustness to challenging cases such as viewpoint changes. Deep salient object detection is one example of such high level features, as it make use of semantic information to highlight the important regions in the given scene. In this work, we propose an improvement over DCF based trackers by combining saliency based and other features based filter responses. This combination is performed with an adaptive weight on the saliency based filter responses, which is automatically selected according to the temporal consistency of visual saliency. We show that our method consistently improves a baseline DCF based tracker especially in challenging cases and performs superior to the state-of-the-art. Our improved tracker operates at 9.3 fps, introducing a small computational burden over the baseline which operates at 11 fps.

研究の動機と目的

• 視点変化や外観変動といった困難な状況下でもDCFベースの視覚追跡のロバスト性を向上させること。
• HoG や CNN 活性化などの低・中レベル特徴の、大規模な外観および視点変化への対処能力の限界を是正すること。
• 深層顕著オブジェクト検出から得られる意味論的高レベル情報を利用し、追跡の信頼性を向上させること。
• 時間的整合性に基づいて顕著性特徴の重みを動的に調整する適応的統合機構を開発すること。
• 計算オーバーヘッドを著しく増加させないよう、高速かつ正確な顕著性検出を統合し、リアルタイム性能を維持すること。

提案手法

• ECOトラッカー・フレームワークに、深層顕著オブジェクト検出の出力を追加の特徴ストリームとして統合する。
• 顕著性特徴と従来の特徴（HoG、VGG-16 conv1/conv5）のそれぞれに対して、独立した相関フィルタを学習する。
• 時間的整合性に基づいて、顕著性特徴の影響を動的に調整する適応的重み付け機構を適用する。
• 顕著性特徴を全探索領域から抽出するが、局所化精度を向上させるために、より広い文脈を用いて顕著性予測を行う。
• 信頼度ベースの指標を用いて、追跡中に一貫性のない顕著性応答を抑制し、信頼性の低い検出によるノイズを低減する。
• 顕著性特徴と従来特徴のフィルタ応答を統合し、各フレームごとに顕著性の安定性に応じて動的に重みを調整してトラッカーを更新する。

実験結果

リサーチクエスチョン

• RQ1 深層顕著オブジェクト検出特徴を統合することで、DCFベースのトラッカーの困難な視覚追跡シナリオにおけるロバスト性が向上するか？
• RQ2 意味論的ロバスト性に優れる顕著性特徴を、DCFフレームワーク内で低・中レベル特徴と効果的に統合する方法は何か？
• RQ3 顕著性マップの時間的不整合がトラッカー性能に与える影響は何か？ また、その影響をどのように軽減できるか？
• RQ4 提案された適応的統合戦略は、固定重みまたは連結統合手法に比べ、精度およびロバスト性の面で優れているか？
• RQ5 顕著性特徴の統合を、計算オーバーヘッドを最小限に抑えつつ、リアルタイム性能を維持できるか？

主な発見

• OTB-2013データセットにおけるワンパス評価で、ECOSALは平均精度0.715を達成し、ECO*、MDNet、SANet、MCPF、CCOTといった最先端手法を上回った。
• UAV-123ベンチマークでは、12の困難なシーケンスのうち10で優れた性能を示し、全シーケンスにおける平均精度が0.707と最高を記録した。
• 完全遮蔽（FO）および低解像度（LR）を除くすべての困難なケースで、ベースラインのECOに比べて一貫した性能向上を示した。FOおよびLRでは、空間的サポートが限られているため、わずかに性能が劣った。
• ロバストネス分析により、ECOSALは空間的（例：照明変動、遮蔽）および時間的（例：平面内回転、変形）な挑戦に対して、ECOを顕著に上回ることが確認された。
• 9.3 fpsで動作し、ベースラインのECO（11 fps）と比較してわずかな計算オーバーヘッドしか発生しないため、効果的なリアルタイム効率を示した。
• 適応的重み付け機構により、時間的に一貫性のない顕著性予測が効果的に抑制され、外観および視点変化の影響下でもトラッカーの安定性が向上した。