[論文レビュー] Training-Set Distillation for Real-Time UAV Object Tracking

Fan Li, Changhong Fu+3 more|arXiv (Cornell University)|Mar 11, 2020

Video Surveillance and Tracking Methods参考文献 32被引用数 4

ひとこと要約

本論文は、相関フィルタを用いたリアルタイムUAVオブジェクト追跡におけるトレーニングセット品質の向上を目的として、タイムスロットベースの蒸留手法（TSD）を提案する。高信頼度のトラッキングフレームをキーフレームとして用い、シーケンスをタイムスロットに分割することで、履歴サンプルを適応的にスコア付け・統合し、低スコアのものを除外する。これにより、遮蔽や運動ブラーに対する耐性が著しく向上する。TSDトラッカーは、単一CPU上でリアルタイム推論を実現しつつ、UAV123およびDTB70ベンチマークで最先端の性能を達成した。

ABSTRACT

Correlation filter (CF) has recently exhibited promising performance in visual object tracking for unmanned aerial vehicle (UAV). Such online learning method heavily depends on the quality of the training-set, yet complicated aerial scenarios like occlusion or out of view can reduce its reliability. In this work, a novel time slot-based distillation approach is proposed to efficiently and effectively optimize the training-set's quality on the fly. A cooperative energy minimization function is established to score the historical samples adaptively. To accelerate the scoring process, frames with high confident tracking results are employed as the keyframes to divide the tracking process into multiple time slots. After the establishment of a new slot, the weighted fusion of the previous samples generates one key-sample, in order to reduce the number of samples to be scored. Besides, when the current time slot exceeds the maximum frame number, which can be scored, the sample with the lowest score will be discarded. Consequently, the training-set can be efficiently and reliably distilled. Comprehensive tests on two well-known UAV benchmarks prove the effectiveness of our method with real-time speed on a single CPU.

研究の動機と目的

• 遮蔽、視点変化、視界外の状況に起因する信頼性の低いトレーニングサンプルによって引き起こされる相関フィルタ（CF）ベースのUAV追跡における性能劣化を是正すること。
• 特にリソース制限のあるUAVプラットフォームにおいて、計算コストを増加させることなく追跡の信頼性を向上させること。
• トラッキング中に低品質なサンプルを適応的にフィルタリングする、効率的でオンラインなトレーニングセット蒸留メカニズムを構築すること。
• 単一CPU上でリアルタイム性能を維持しつつ、UAVベンチマークで最先端の精度を達成すること。

提案手法

• 高信頼度のトラッキングフレームをキーフレームとして用い、シーケンスをタイムスロットに分割することで、動的サンプル管理を可能にする。
• 協調的エネルギー最小化関数を用い、応答マップの品質に基づいて履歴サンプルをスコア付けし、追跡の信頼性と信頼性を反映する。
• 新しいタイムスロットが形成されると、以前のサンプルが1つのキーサンプルに統合され、冗長性が低減され、スコアリングが高速化される。
• トレーニングセットのサイズは事前に定めた上限値に制限され、それを超えると最もスコアが低いサンプルが破棄されて効率性が維持される。
• 応答マップは追跡の信頼度の代理として用いられ、共同最適化フレームワークにおけるサンプルスコアリングと正則化を導く。
• 本手法は、サンプルスコアリング、統合、破棄を、リアルタイムデプロイメントに適した軽量でオンラインなパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 オンライントレーニングセット蒸留は、困難な視覚的条件下における相関フィルタベースのUAVトラッカーの耐性を向上させ得るか？
• RQ2 計算負荷を増加させることなく、リアルタイムでトレーニングセット品質を適応的に最適化する方法は何か？
• RQ3 キーフレームに基づくタイムスロット分割は、サンプルスコアリング効率と追跡精度にどのような影響を及ぼすか？
• RQ4 応答マップに基づく信頼度推定は、信頼性の低いサンプルの影響をどの程度低減できるか？
• RQ5 軽量で単一CPU互換性を持つトラッカーは、トレーニングセット蒸留を用いてUAVベンチマークで最先端の性能を達成可能か？

主な発見

• UAV123@10fpsベンチマークにおいて、TSDは精度レート0.659、成功率0.464を達成し、ベースラインのBACFをそれぞれ15.2%および12.3%上回った。
• UAV123では精度および成功率の両面で1位を達成し、ECO-HCおよびMCCT-Hをそれぞれ3.9%および10.6%上回った。
• DTB70では、ECO-HCおよびMCCT-Hに対してそれぞれ2.2%および8.8%の精度向上を達成し、成功率プロットでは2位となった。
• アブレーションスタディにより、サンプル破棄、統合、応答マップ正則化が順次寄与し、全手法で精度に15.2%の相対的向上が得られた。
• トラッカーは単一CPU上でリアルタイムで動作し、実用的なUAVアプリケーションに十分な速度を達成した。
• 可視化比較では、TSDが遮蔽、視点変化、視界外の状況においてドリフトを効果的に回避しているのに対し、ベースラインのBACFは常に失敗していた。