[論文レビュー] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|Aug 1, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 56

ひとこと要約

本論文は PTAV を提案する。これは高速トラッカーと別個の検証器をペアにした二スレッドのフレームワークで、リアルタイム性と高精度を実現し、オンデマンドでの修正を可能にして、リアルタイムトラッカーを上回りつつディープラーニング性能に近づく。

ABSTRACT

Being intensively studied, visual tracking has seen great recent advances in either speed (e.g., with correlation filters) or accuracy (e.g., with deep features). Real-time and high accuracy tracking algorithms, however, remain scarce. In this paper we study the problem from a new perspective and present a novel parallel tracking and verifying (PTAV) framework, by taking advantage of the ubiquity of multi-thread techniques and borrowing from the success of parallel tracking and mapping in visual SLAM. Our PTAV framework typically consists of two components, a tracker T and a verifier V, working in parallel on two separate threads. The tracker T aims to provide a super real-time tracking inference and is expected to perform well most of the time; by contrast, the verifier V checks the tracking results and corrects T when needed. The key innovation is that, V does not work on every frame but only upon the requests from T; on the other end, T may adjust the tracking according to the feedback from V. With such collaboration, PTAV enjoys both the high efficiency provided by T and the strong discriminative power by V. In our extensive experiments on popular benchmarks including OTB2013, OTB2015, TC128 and UAV20L, PTAV achieves the best tracking accuracy among all real-time trackers, and in fact performs even better than many deep learning based solutions. Moreover, as a general framework, PTAV is very flexible and has great rooms for improvement and generalization.

研究の動機と目的

• リアルタイムで高精度なビジュアル追跡が、深層法が正確だが遅く、快速な相関フィルタトラッカーが速いが堅牢性に欠けるという状況を動機づける。
• 高速トラッカーと検証器を結ぶ二スレッド PTAV フレームワークを提案し、速度と精度のバランスを取る。
• 標準ベンチマーク全体で、結果の選択的検証がリアルタイム性能を犠牲にせず堅牢性を向上させることを示す。

提案手法

• 追跡を二つの並列成分に分解する：高速トラッカー T と別スレッドで動作する検証器 V。
• T は高速識別型トラッカー (fDSST) を用いてフレーム間追跡と効率的なアップデートを提供。
• V は Siamese-network-based verifier を用いて選択されたフレームで T の出力を検証し、必要に応じて T を修正。
• T と V の連携はイベント駆動型：T が定期的に検証を要求し、V が修正を T へフィードバックできる。
• V での検証は region pooling を活用して必要に応じて複数の候補領域を効率的に評価。
• T は修正後の素早い辿り直しを可能にする中間結果を保存し、リアルタイム性能を維持。

実験結果

リサーチクエスチョン

• RQ1 パラレルなトラッカー-検証機構は、リアルタイム追跡を達成しつつ深層学習トラッカーの精度に匹敵またはそれを上回ることができるのか？
• RQ2 検証頻度と局所探索領域をどのように調整して速度と堅牢性のバランスを取るべきか？
• RQ3 Siamese-network-based verifier を高速相関フィルタートラッカーと組み合わせると、遮蔽・変形・遮蔽に起因するドリフトに対する堅牢性は向上するか？
• RQ4 PTAV フレームワーク内で異なるベーストラッカー（例：fDSST vs. KCF）を使用した場合、精度と速度にどのような影響があるか？

主な発見

• PTAV は OTB2013 および OTB2015 ベンチマークでリアルタイムトラッカーの中で最も高い追跡精度を達成。
• OTB2015 では PTAV は距離精度 84.9%、重畳重視の検出率（OSR） 77.6% を達成し、実時間速度（約 25 fps）で動作。
• TC128 では PTAV は DPR 74.1%、OSR 54.4% を達成し、いくつかの最先端手法を上回る。
• UAV20L では PTAV は DPR 62.4%、OSR 42.3% を達成し、約 25 fps。
• PTAV の二スレッド設計は単一スレッド版よりも全体的な性能を向上させ、一方で検証器は必要に応じてだけ修正フィードバックを提供し、効率を維持。
• PTAV は背景雑音・変形・遮蔽・スケール変動といった属性に対して堅牢性を示し、いくつかの深い特徴量と相関フィルター検出器を上回っている。