[論文レビュー] HiFT: Hierarchical Feature Transformer for Aerial Tracking

Ziang Cao, Changhong Fu+3 more|arXiv (Cornell University)|Jul 31, 2021

Video Surveillance and Tracking Methods参考文献 52被引用数 11

ひとこと要約

HiFTは、空撮画像のオブジェクト追跡のための階層的特徴変換器（HiFT）を提案する。この手法は、軽量なトランスフォーマーを用いて多層の畳み込み特徴を統合することで、識別性と局所化精度を向上させる。浅い層からの空間的詳細と深い層からの意味的手がかりを統合することで、130 FPSの高速な実行速度を達成し、より深いバックボーンを搭載したトラッカーを凌駕する最先端の性能を実現。これは、埋め込み型UAVプラットフォーム上でもリアルタイム性能を維持している。

ABSTRACT

Most existing Siamese-based tracking methods execute the classification and regression of the target object based on the similarity maps. However, they either employ a single map from the last convolutional layer which degrades the localization accuracy in complex scenarios or separately use multiple maps for decision making, introducing intractable computations for aerial mobile platforms. Thus, in this work, we propose an efficient and effective hierarchical feature transformer (HiFT) for aerial tracking. Hierarchical similarity maps generated by multi-level convolutional layers are fed into the feature transformer to achieve the interactive fusion of spatial (shallow layers) and semantics cues (deep layers). Consequently, not only the global contextual information can be raised, facilitating the target search, but also our end-to-end architecture with the transformer can efficiently learn the interdependencies among multi-level features, thereby discovering a tracking-tailored feature space with strong discriminability. Comprehensive evaluations on four aerial benchmarks have proven the effectiveness of HiFT. Real-world tests on the aerial platform have strongly validated its practicability with a real-time speed. Our code is available at https://github.com/vision4robotics/HiFT.

研究の動機と目的

• シアンセス型トラッカーが単一の特徴マップに依存するか、計算コストの高い複数のマップに依存するという限界を是正すること。
• 部分的遮蔽、低解像度、高速移動といった複雑な空撮シナリオにおける局所化精度を向上させるために、多層特徴を効果的に統合すること。
• リソース制限のあるUAVプラットフォームでもリアルタイム推論速度を維持できる、効率的でエンドツーエンドで学習可能なアーキテクチャの開発。
• 新規の特徴変調層と再定義された分類ラベルを用いて、小規模なオブジェクトの特徴表現を強化すること。
• 実世界のUAV展開におけるトラッカーの頑健性と効率性を検証すること。

提案手法

• HiFTは、複数の畳み込み層からの特徴マップ（浅い層は空間的詳細、深い層は意味的特徴）を入力とする階層的特徴変換器を採用する。
• 変換器は多層特徴間の相互依存関係をエンドツーエンドでモデル化し、識別性が強く、トラッキングに最適化された特徴空間を学習する。
• 深い層からの低解像度特徴を変換器のクエリとして使用し、標準的な学習済みオブジェクトクエリに代えて、視覚的追跡における一般化性能を向上させる。
• 多層特徴間の相互依存関係を強化するための新規な特徴変調層を導入し、特に小規模なオブジェクトにおける性能向上を図る。
• 変換器の特徴学習をより効果的に監督するための新しい分類ラベルを設計し、識別性と局所化精度を向上させる。
• ネットワーク全体をエンドツーエンドで学習可能にすることで、特徴統合とトラッキングヘッドの共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 シアンセス型ネットワークからの多層特徴を効果的に統合する階層的特徴変換器は、複雑な空撮シナリオにおける追跡精度を向上させることができるか？
• RQ2 埋め込み型UAVプラットフォームへのリアルタイム展開に耐える十分な効率性を持つ、トランスフォーマー基盤のアーキテクチャはどのように実現できるか？
• RQ3 提案された特徴変調層と分類ラベルは、空撮追跡における小規模または遮蔽されたターゲットの性能向上に寄与するか？
• RQ4 軽量なHiFTトラッカーは、より深いバックボーンを搭載したSOTAトラッカーと同等の性能を達成しながらも、リアルタイム推論速度を維持できるか？
• RQ5 実世界のUAV展開において、視点の変化やモーションブラーといった実用的課題に直面した際、HiFTはどのように性能を発揮するか？

主な発見

• HiFTはUAV20Lで平均精度0.783、DTB70で0.763を達成し、より深いバックボーンを搭載したすべてのSOTAトラッカーを上回った。
• 標準ベンチマーク上、HiFTは129.87 FPSで動作し、SiamRPN++（ResNet-50）の71.59 FPSよりも顕著に高速であった。
• UAV20Lでは、2番目に良いトラッカー（SiamRPN++_ResNet-50）の精度0.749を上回る0.763の精度を記録した一方で、1.8倍の高速化を達成した。
• NVIDIA AGX Xavier上で実世界のUAVテストを実施した結果、TensorRTを用いない状態でも平均31.2 FPSを維持し、実用性の高さを示した。
• 部分的遮蔽、視点の変化、低解像度、類似オブジェクトの干渉といった困難な条件下でも、安定した性能を発揮した。
• アブレーションスタディの結果、特徴変調層と新しい分類ラベルの両方が、特に小規模なオブジェクトにおける性能向上に顕著な寄与を示した。