[論文レビュー] SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking

Ziang Cao, Changhong Fu+3 more|arXiv (Cornell University)|Jun 16, 2021

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

SiamAPN++ は、自己注意およびクロス注意メカニズムを備えた注意型集約ネットワーク (AAN) を用いて特徴表現を向上させるとともに、二重特徴を用いたアンカー提案ネットワークを導入し、スケール変動に対するロバスト性を向上させることで、リアルタイムなドローン用シアンプストラッカーを提案する。本手法はドローンベンチマークで最先端の性能を達成し、組み込みプラットフォームでも 34.9 FPS のリアルタイム推論を維持する。

ABSTRACT

Recently, the Siamese-based method has stood out from multitudinous tracking methods owing to its state-of-the-art (SOTA) performance. Nevertheless, due to various special challenges in UAV tracking, extit{e.g.}, severe occlusion and fast motion, most existing Siamese-based trackers hardly combine superior performance with high efficiency. To this concern, in this paper, a novel attentional Siamese tracker (SiamAPN++) is proposed for real-time UAV tracking. By virtue of the attention mechanism, we conduct a special attentional aggregation network (AAN) consisting of self-AAN and cross-AAN for raising the representation ability of features eventually. The former AAN aggregates and models the self-semantic interdependencies of the single feature map via spatial and channel dimensions. The latter aims to aggregate the cross-interdependencies of two different semantic features including the location information of anchors. In addition, the anchor proposal network based on dual features is proposed to raise its robustness of tracking objects with various scales. Experiments on two well-known authoritative benchmarks are conducted, where SiamAPN++ outperforms its baseline SiamAPN and other SOTA trackers. Besides, real-world tests onboard a typical embedded platform demonstrate that SiamAPN++ achieves promising tracking results with real-time speed.

研究の動機と目的

• 極度の遮蔽、高速運動、スケール変動にさらされるドローントラッキングにおいて、高精度とリアルタイム効率の両立を図ること。
• 特徴マップ間の自己およびクロスセマンティック相互依存性をモデル化することで、シアンプストラッカーにおける特徴表現を向上させること。
• 二重特徴に基づくアンカー提案ネットワーク (APN-DF) を用いて、マルチスケールオブジェクトに対するアンカーのロバスト性を向上させること。
• 実用的なドローンデプロイメントを想定し、組み込みプラットフォーム上でトラッカーの性能とリアルタイム実行可能性を検証すること。

提案手法

• 単一の特徴マップ内での空間的およびチャネルワイドな相互依存性をモデル化する自己注意メカニズム (self-AAN) を導入し、局所的セマンティック表現を強化する。
• 二つの異なる特徴マップ間の依存関係を適応的に集約するクロス注意メカニズム (cross-AAN) を提案し、特徴間のアライメントと文脈理解を向上させる。
• 複数のネットワークレベルからの特徴を活用して、よりロバストでスケール不変なアンカーを生成する二重特徴ベースのアンカー提案ネットワーク (APN-DF) を採用する。
• 学習可能なパラメータ $w_1$ を用いた重み付き分類ブランチを採用し、アンカーに基づく分類と特徴表現学習のバランスを取る。
• 特徴融合と注意ゲーティングを適用し、関連する特徴を強調するとともに、ノイズや干渉を抑制する。
• テンプレートおよびサーチブランチの特徴抽出に共有重みを持つシアンプスツインストリームアーキテクチャを採用し、その後に注意強化型特徴集約を実施する。

実験結果

リサーチクエスチョン

• RQ1 注意メカニズムは、遮蔽や高速運動下におけるドローントラッキングのシアンプストラッカーにおける特徴表現を改善できるか？
• RQ2 標準的なシアンプス特徴統合と比較して、特徴マップ間のクロス注意はトラッキングのロバスト性をどのように向上させるか？
• RQ3 アンカー提案ネットワークに二重特徴を用いることで、スケール変動や困難なドローントラッキングシーケンスにおける性能はどの程度向上するか？
• RQ4 提案された AAN および APN-DF コンponent は、トラッキング精度を向上させつつ、組み込みプラットフォームでもリアルタイム推論速度を維持できるか？
• RQ5 分類ヘッドにおけるアンカー分類と特徴表現学習の最適なバランスは何か？

主な発見

• SiamAPN++ は、カメラモーション (CM) 属性においてベースラインの SiamAPN と比較して AUC スコアで 5.0% の向上を達成した。
• 完全遮蔽 (FOC) シナリオでは、2番目に優れたトラッカーと比較して、精度が 5.5% 向上し、AUC が 16.2% 向上した。
• 組み込みプラットフォーム上で平均 34.9 FPS の推論速度を維持しており、実用的実装可能性が強く示された。
• アブレーションスタディの結果、APN-DF および AAN コンponent の両方がトラッキング精度を顕著に向上させたことが確認され、特にスケール変動に対する改善が顕著であった。
• 最適な分類重み $w_1 = 1.2$ が AUC と精度を最大化し、アンカーと特徴ベース分類のバランスの取れた統合を示した。
• 定性的な結果から、SiamAPN++ は低解像度、重度の遮蔽、高速運動に対しても効果的に対処し、長期的なトラッキング安定性を維持していることが示された。