[論文レビュー] AutoTrack: Towards High-Performance Visual Tracking for UAV with Automatic Spatio-Temporal Regularization

Yiming Li, Changhong Fu+3 more|arXiv (Cornell University)|Mar 29, 2020

Video Surveillance and Tracking Methods参考文献 58被引用数 14

ひとこと要約

AutoTrackは、応答マップからのスパatio-時間正則化を自動で学習するDCFベースの新しい視覚トラッカーを提案する。局所的応答変動を用いて信頼性の高いオブジェクト部を集中し、グローバルな変動を用いてフィルタ更新を適応的に制御する。単一CPU上で約60 FPSで最先端の性能を達成し、UAVベンチマークにおいてCPUおよびGPUベースのトラッカーを上回り、実用的状況下でのリアルタイムかつ高精度なUAV局所化を可能にする。

ABSTRACT

Most existing trackers based on discriminative correlation filters (DCF) try to introduce predefined regularization term to improve the learning of target objects, e.g., by suppressing background learning or by restricting change rate of correlation filters. However, predefined parameters introduce much effort in tuning them and they still fail to adapt to new situations that the designer did not think of. In this work, a novel approach is proposed to online automatically and adaptively learn spatio-temporal regularization term. Spatially local response map variation is introduced as spatial regularization to make DCF focus on the learning of trust-worthy parts of the object, and global response map variation determines the updating rate of the filter. Extensive experiments on four UAV benchmarks have proven the superiority of our method compared to the state-of-the-art CPU- and GPU-based trackers, with a speed of ~60 frames per second running on a single CPU. Our tracker is additionally proposed to be applied in UAV localization. Considerable tests in the indoor practical scenarios have proven the effectiveness and versatility of our localization method. The code is available at https://github.com/vision4robotics/AutoTrack.

研究の動機と目的

• 事前に定義された正則化の限界に対処する。これは、手動でのチューニングを必要とし、予期しない視覚的変化に適応できない。
• 照明変化、遮蔽、オブジェクト変形などの困難なUAV状況下でのトラッキングの頑健性を向上させる。
• 応答マップの変動に基づいて動的に調整される自己適応型正則化メカニズムを開発し、手動でのハイパーパramータチューニングを排除する。
• トラッカーの精度とリアルタイム性能を活用して、屋内環境における実用的UAV局所化に視覚トラッキングを拡張する。
• 標準ベンチマークを超えた現実世界のシナリオにおいて、トラッカーの汎用性と有効性を実証する。

提案手法

• オブジェクトの信頼性が低い領域（例：遮蔽または歪んだ部分）からの学習を抑制するために、局所的応答マップ変動に基づく空間的正則化を導入する。
• グローバルな応答マップ変動を用いてフィルタ更新レートを制御する：高い変動はトラッキングエラーの可能性を示し、学習を一時停止または低減する。
• 内在的な応答マップ統計を用いて正則化項のハイパーパramータをオンラインで自動チューニングし、手動チューニングを排除する。
• 分類相関フィルタ（DCF）フレームワークに適応的正則化を統合し、フーリエドメインでの効率的計算を可能にする。
• モーションキャプチャシステムの真値を用いて、トラッキングされた視覚特徴からUAVポーズを推定することで、トラッカーを局所化モジュールとして統合する。
• 4つのUAVベンチマークおよび6つの現実世界の屋内データセットを用いて、局所化検証のためのエンドツーエンドのトレーニングと評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 手動でのハイパーパramータチューニングなしで、データ駆動型の自動正則化が動的UAV状況下でのDCFベースの視覚トラッキング性能を向上させることができるか？
• RQ2 局所的応答変動とオブジェクト部の信頼性の相関関係は何か？そして、これは相関フィルタにおける選択的学習を誘導するために利用可能か？
• RQ3 グローバルな応答マップ変動は、フィルタ更新を適応的に制御するための信頼性のある指標として機能するか？
• RQ4 AutoTrackは、UAVベンチマークにおいて、精度、速度、頑健性の観点から、最先端のCPUおよびGPUベースのトラッカーをどの程度上回るか？
• RQ5 提案されたトラッカーは、実用的で屋内の環境において、リアルタイムUAV局所化に効果的に応用可能か？

主な発見

• AutoTrackはUAVベンチマークで0.495 AUCの成功率を達成し、STRCFを2.7%上回り、2つのUAVデータセットにおいて複数の最先端の深層学習トラッカーをも上回る。
• 照明変化や大規模な遮蔽といった困難な状況下で、AutoTrackはそれぞれSTRCFを7.0%および15.7%上回る成功率を達成する。これは、適応的空間正則化と逸脱検出のおかげである。
• 単一CPU上で約60 FPSで実行され、CPUベースのトラッカーとしては最高性能を達成し、GPUベースの最先端手法と同等の性能を示す。
• アブレーションスタディにより、自動空間正則化（ASR）と時間正則化（ATR）の両方が性能向上に寄与していることが確認され、ATRは汚染されたサンプルでの学習を減らすことで速度向上にも寄与する。
• UAV局所化において、2,666フレームにわたる平均位置誤差は3.44 cm（RMSE）であり、実用的屋内シナリオにおける高精度とリアルタイム実現可能性を示している。
• 本手法は、異なる軌道とオブジェクト外観を有する6つの異なる屋内データセットにおいて一貫した性能を示しており、多様な環境への汎用性が優れている。