[論文レビュー] Towards Robust Visual Tracking for Unmanned Aerial Vehicle with Tri-Attentional Correlation Filters

Yujie He, Changhong Fu+3 more|arXiv (Cornell University)|Aug 2, 2020

Video Surveillance and Tracking Methods参考文献 41被引用数 4

ひとこと要約

本稿では、文脈的、次元的、時空間的アテンションメカニズムを相関フィルタフレームワークに統合することで、頑健なUAV視覚追跡のための三重アテンション相関フィルタ（TACF）トラッカーを提案する。この手法は部分的オクルージョンやごみだらけの背景に対しても識別力を高めつつ、約28 FPSのリアルタイム性能を維持し、ベースラインのKCCトラッカーと比較してUAVDTとUAV123@10fpsベンチマークでそれぞれ4.8%および8.2%の相対的向上を達成した。

ABSTRACT

Object tracking has been broadly applied in unmanned aerial vehicle (UAV) tasks in recent years. However, existing algorithms still face difficulties such as partial occlusion, clutter background, and other challenging visual factors. Inspired by the cutting-edge attention mechanisms, a novel object tracking framework is proposed to leverage multi-level visual attention. Three primary attention, i.e., contextual attention, dimensional attention, and spatiotemporal attention, are integrated into the training and detection stages of correlation filter-based tracking pipeline. Therefore, the proposed tracker is equipped with robust discriminative power against challenging factors while maintaining high operational efficiency in UAV scenarios. Quantitative and qualitative experiments on two well-known benchmarks with 173 challenging UAV video sequences demonstrate the effectiveness of the proposed framework. The proposed tracking algorithm favorably outperforms 12 state-of-the-art methods, yielding 4.8% relative gain in UAVDT and 8.2% relative gain in UAV123@10fps against the baseline tracker while operating at the speed of $\sim$ 28 frames per second.

研究の動機と目的

• 相関フィルタベースのトラッカーがUAV環境において部分的オクルージョンや背景のごみに対して示す限界を解消すること。
• 相関フィルタの学習および検出パイプラインにマルチレベルの視覚アテンションを統合することで識別力を高めること。
• 地上UAVシステムに適したリアルタイム性能を維持しながら、困難な視覚状況に対する頑健性を向上させること。
• 文脈的、次元的、時空間的特徴を統合した統一されたアテンションフレームワークを構築し、応答マップの質を向上させること。

提案手法

• フィルタ学習中に文脈パッチに動的ペナルティ要因を割り当てることで、環境認識力と物体識別力を向上させる文脈アテンションモジュールを導入する。
• 応答マップ内の情報量の多い特徴次元に注目する次元アテンションを適用し、関連性の低い特徴の抑制によってノイズの影響を低減する。
• 連続フレーム間の時空間的一致性を活用することで応答マップを強化する時空間アテンションを採用し、局所化精度を向上させる。
• 文脈的、次元的、時空間的アテンションの3つのメカニズムを統合し、エンドツーエンドのトラッキングを実現する統一された三重アテンション相関フィルタ（TACF）フレームワークを構築する。
• 計算効率を維持するため、フーリエドメインでの演算を活用し、単一CPU上で約28 FPSのリアルタイム推論を実現する。
• 次元アテンションモジュールにおける学習可能な活性化しきい値βtを最適化し、UAVDTで最高性能を得るための値0.1に設定した。

Figure 1: Comparison between baseline KCC tracker [ 4 ] and the proposed TACF tracker. In UAV tracking, TACF incorporates the contextual information into the filter training stage, so that the attentional filters can sense the varying appearance of the object and environment simultaneously. After th

実験結果

リサーチクエスチョン

• RQ1 相関フィルタにマルチレベルのアテンション機構を統合することで、UAVトラッキングにおける部分的オクルージョンに対する頑健性が向上するか？
• RQ2 文脈アテンションは、過剰なノイズを引き起こさずに環境的文脈を統合することにより、フィルタ学習をどのように向上させるか？
• RQ3 次元アテンションと時空間アテンションは、複雑なUAVシーンにおける応答マップの質とトラッキング精度をどの程度向上させるか？
• RQ4 提案された三重アテンションフレームワークは、精度と頑健性の面で最先端のトラッカーを著しく上回る一方で、リアルタイム性能を維持できるか？

主な発見

• TACFトラッカーは、ベースラインのKCCトラッカーと比較して、UAVDTベンチマークで4.8%の相対的成績向上を達成した。
• UAV123@10fpsベンチマークでは、ベースラインと比較して8.2%の相対的成績向上を達成し、成功確率は0.456に達した。
• アブレーションスタディの結果、各アテンションモジュール（CA、DA、SA）が独立して性能向上に寄与しており、完全なTACFモデルがUAVDTで最高の成功確率0.437を記録した。
• 1フレームあたりの平均処理時間は35.59 ms（28.1 FPS）であり、追加されたアテンションモジュールにもかかわらずリアルタイム実現可能性が示された。
• 次元アテンションにおける最適な活性化しきい値βtは0.1であると判明し、UAVDTで最高性能を発揮した。
• TACFトラッカーは、2つの主要なUAVベンチマークにおいて、12の最先端のトラッカーを精度と頑健性の両面で上回った。

Figure 2: The main workflow of the TACF tracker. The object and context patches near the object are first extracted and represented as training samples. Then, the contextual attention strategy is implemented to realize adaptive learning of the surrounding environment throughout the online tracking p