[論文レビュー] AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking

Tianyang Xu, Zhenhua Feng+2 more|arXiv (Cornell University)|May 27, 2020

Video Surveillance and Tracking Methods参考文献 50被引用数 7

ひとこと要約

本論文では、応答マップの空間的・時間的統合をCNNとLSTMモジュールを用いて行う品質予測ネットワーク（QPN）を統合することで、潜在的な追跡失敗をリアルタイムで検出できる、適応的で失敗に気づきやすいトラッカーAFATを提案する。QPNは追跡の信頼性を予測し、オンラインでの失敗検出と是正を可能にし、速度を犠牲にせずにベンチマークデータセット全体で精度と耐性を向上させる。

ABSTRACT

Siamese approaches have achieved promising performance in visual object tracking recently. The key to the success of Siamese trackers is to learn appearance-invariant feature embedding functions via pair-wise offline training on large-scale video datasets. However, the Siamese paradigm uses one-shot learning to model the online tracking task, which impedes online adaptation in the tracking process. Additionally, the uncertainty of an online tracking response is not measured, leading to the problem of ignoring potential failures. In this paper, we advocate online adaptation in the tracking stage. To this end, we propose a failure-aware system, realised by a Quality Prediction Network (QPN), based on convolutional and LSTM modules in the decision stage, enabling online reporting of potential tracking failures. Specifically, sequential response maps from previous successive frames as well as current frame are collected to predict the tracking confidence, realising spatio-temporal fusion in the decision level. In addition, we further provide an Adaptive Failure-Aware Tracker (AFAT) by combing the state-of-the-art Siamese trackers with our system. The experimental results obtained on standard benchmarking datasets demonstrate the effectiveness of the proposed failure-aware system and the merits of our AFAT tracker, with outstanding and balanced performance in both accuracy and speed.

研究の動機と目的

• シアンセストラッカーのオンラインでの適応性の欠如と、失敗検出メカニズムの不在という限界に対処すること。
• 逐次的な応答マップを用いて追跡応答の不確実性を評価することで、リアルタイムでのオンライン失敗検出を可能にすること。
• 既存のシアンセストラッカーと互換性があり、軽量で実装可能な品質予測システムの開発。
• 外見の変化や遮蔽などの困難な視覚的条件下での追跡の耐性と精度の向上。
• 追跡中の現在の追跡の難易度を予測することで、モデル選択を適応的に行えるようにすること。

提案手法

• 最新の応答マップを処理することで追跡信頼性を予測する品質予測ネットワーク（QPN）を提案する。
• QPNは2次元畳み込み層を用いて応答マップからの空間的特徴を抽出し、双方向LSTMを用いてフレーム間の時間的依存性をモデル化する。
• 現在のフレームと直前のフレームの応答マップをスタックしてQPNの入力とし、意思決定レベルでの空間的・時間的統合を実現する。
• QPNは教師あり学習で訓練され、予測されたバウンディングボックスと真値バウンディングボックスのIOUから導出される正例ラベルを用いた応答マップシーケンスを入力とする。
• QPNは最先端のシアンセストラッカー（例：SiamRPN++）と統合され、適応的で失敗に気づきやすいトラッカー（AFAT）を形成する。これによりリアルタイムでの失敗アラームと適応的是正が可能になる。
• 訓練中に保守的な検出戦略を採用することで、誤検出を低減するとともに、真の失敗の大部分を正しく特定する。

実験結果

リサーチクエスチョン

• RQ1 応答マップの空間的・時間的パターンを分析することで、オンラインでの失敗検出を効果的に達成できるか？
• RQ2 CNNとLSTMモジュールに基づく軽量なQPNは、リアルタイムで追跡品質を信頼性高く予測できるか？
• RQ3 失敗に気づきやすいシステムを統合することで、困難な視覚的条件下におけるシアンセストラッカーの耐性と精度が向上するか？
• RQ4 提案されたシステムは、追跡中の適応的モデル選択を可能にしつつ、高い推論速度を維持できるか？
• RQ5 QPNの失敗検出性能は、手作業で設定したしきい値やヒューリスティック手法と比較してどうか？

主な発見

• VOT2019データセットにおいて、AFATはEAOスコア0.295を達成し、ATOM（0.292）やSiamRPN++（0.292）を上回る最高のスコアを記録した。
• VOT2018では、EAOが0.419、精度が0.605を達成し、13の最先端トラッカーの中で第1位となった。
• LaSOTでは、正規化精度が0.574を記録し、SiamRPN++（0.571）をわずかに上回り、AUCが0.612を達成した。
• AFATは高い速度を維持しており、失敗頻度に応じて70～87FPSを達成しており、QPNの推論は1フレームあたり1.2～1.5msで完了した。
• Bird2シーケンスでは5件の失敗を検出でき、うち3件が真陽性、2件が偽陽性であり、効果的な失敗アラーム機能を示した。
• QPNをSiamRPN++と統合することで、多様なベンチマークで一貫した性能向上が得られ、適応的で失敗に気づきやすいフレームワークの有効性が確認された。