[論文レビュー] 'Skimming-Perusal' Tracking: A Framework for Real-Time and Robust Long-term Tracking

Bin Yan, Haojie Zhao+3 more|arXiv (Cornell University)|Sep 4, 2019

Video Surveillance and Tracking Methods参考文献 40被引用数 34

ひとこと要約

リアルタイム長期追跡フレームワークを、2つのオフラインコンポーネントとともに導入: ローカル追跡用の閲覧モジュール（SiameseRPN regressor + offline verifier）と高速な画像全体再検出用のスキミングモジュール。VOT2018LTとOxUvAで最先端の成果を達成し、リアルタイムで動作。

ABSTRACT

Compared with traditional short-term tracking, long-term tracking poses more challenges and is much closer to realistic applications. However, few works have been done and their performance have also been limited. In this work, we present a novel robust and real-time long-term tracking framework based on the proposed skimming and perusal modules. The perusal module consists of an effective bounding box regressor to generate a series of candidate proposals and a robust target verifier to infer the optimal candidate with its confidence score. Based on this score, our tracker determines whether the tracked object being present or absent, and then chooses the tracking strategies of local search or global search respectively in the next frame. To speed up the image-wide global search, a novel skimming module is designed to efficiently choose the most possible regions from a large number of sliding windows. Numerous experimental results on the VOT-2018 long-term and OxUvA long-term benchmarks demonstrate that the proposed method achieves the best performance and runs in real-time. The source codes are available at https://github.com/iiau-tracker/SPLT.

研究の動機と目的

• 短期追跡と現実世界の長期追跡のギャップに対処し、堅牢な存在判定/不在検知と高速な再検出を可能にする。
• ローカル追跡用の閲覧モジュールと高速なグローバル探索のスキミング用モジュールという2つのモジュールからなるフレームワークを開発し、オフライン学習済みコンポーネントで動作させる。
• 精度を犠牲にせず、長期ベンチマークでリアルタイム性能を達成する。
• 深層ネットワークに基づく長期追跡の実用的なベースラインを提供する。

提案手法

• オフライン学習済みのSiameseRPNレグレッサーを用いた閲覧モジュールが局所探索領域内で候補境界ボックスを生成し、オフライン学習済みの検証器がスコアを付けて最良の候補を選択する。
• 検証はトリプレット損失で訓練された深い特徴埋め込みを用いてコサイン類似度ベースの信頼度スコアを算出する。
• スキミングモジュールは多数のスライディングウィンドウ領域でターゲットの有無を迅速に予測する2値分類器を学習し、さらなる処理のためにトップ-K候補を選択する。
• 検証器の信頼度に基づく、局所探索とグローバル探索の動的切替を、閾値theta（実験では0.65）で行う。
• 誤分類から採掘した難例を用いて検証器を精錬するカスケード学習戦略。
• 実装は回帰とスキミングの特徴抽出にMobileNetV1を、検証器のバックボーンとしてResNet50を使用し、画像サイズは（テンプレート 127x127、検索 300x300）。

実験結果

リサーチクエスチョン

• RQ1 オフライン学習済みコンポーネントを用いて、リアルタイム性能を持つ堅牢な長期追跡をどう実現するか？
• RQ2 2モジュールのSkimming-Perusalフレームワークは長期ベンチマークで再検出の速度と精度を向上させるか？
• RQ3 検証器の堅牢性を高める効果的な訓練戦略（カスケード訓練を含む）は何か？
• RQ4 局所探索とグローバル探索の動的切替が長期追跡の精度と速度にどう影響するか？

主な発見

• SPLTトラッカーはVOT2018LTでF-scoreとリコールのトップパフォーマンスを達成し、実験で25.7 fps。
• VOT2018LTでMBMDとDaSiam_LTを両方の精度指標と再検出能力で上回り（再検出の成功率100%）。
• OxUvA長期ではSPLTがMaxGMのトップを獲得し、MaxGM、TPR、TNRでMBMDとSiamFC+Rを顕著に上回る。
• 専用のスキミングモジュールは画像全域再検出の速度を大幅に向上させ、誤誘導要素をフィルタリングして堅牢性を高める。
• 平均アブレーションの結果、検証器とスキミングモジュールを追加すると、ベースラインの局所探索と比較してF-scoreと速度が大幅に改善される。