[論文レビュー] Learning to Fuse Asymmetric Feature Maps in Siamese Trackers

Wencheng Han, Xingping Dong+3 more|arXiv (Cornell University)|Dec 4, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 4

ひとこと要約

本論文は、ターゲットテンプレートとサーチ領域からの非対称特徴マップの相関を学習することで、シアンプストラッカーにおける特徴マッピングの統合を向上させる学習可能な非対称畳み込みモジュール（ACM）を提案する。DW-XCorrのような手作業で設計された手法とは異なり、ACMは大規模データを用いたエンド・ツー・エンド学習を可能にし、ボクシングボックスサイズの事前知識を統合し、6つのベンチマークで一貫した向上を達成し、SOTAの性能を実現した。LaSOTではAUCが5.8%向上した。

ABSTRACT

Recently, Siamese-based trackers have achieved promising performance in visual tracking. Most recent Siamese-based trackers typically employ a depth-wise cross-correlation (DW-XCorr) to obtain multi-channel correlation information from the two feature maps (target and search region). However, DW-XCorr has several limitations within Siamese-based tracking: it can easily be fooled by distractors, has fewer activated channels, and provides weak discrimination of object boundaries. Further, DW-XCorr is a handcrafted parameter-free module and cannot fully benefit from offline learning on large-scale data. We propose a learnable module, called the asymmetric convolution (ACM), which learns to better capture the semantic correlation information in offline training on large-scale data. Different from DW-XCorr and its predecessor(XCorr), which regard a single feature map as the convolution kernel, our ACM decomposes the convolution operation on a concatenated feature map into two mathematically equivalent operations, thereby avoiding the need for the feature maps to be of the same size (width and height)during concatenation. Our ACM can incorporate useful prior information, such as bounding-box size, with standard visual features. Furthermore, ACM can easily be integrated into existing Siamese trackers based on DW-XCorror XCorr. To demonstrate its generalization ability, we integrate ACM into three representative trackers: SiamFC, SiamRPN++, and SiamBAN. Our experiments reveal the benefits of the proposed ACM, which outperforms existing methods on six tracking benchmarks. On the LaSOT test set, our ACM-based tracker obtains a significant improvement of 5.8% in terms of success (AUC), over the baseline.

研究の動機と目的

• 手作業で設計されたDW-XCorrの限界、例えば、干渉要因に弱く、境界の識別が弱いという点を是正すること。
• パラメータフリーなDW-XCorrに学習可能な代替モジュールを導入することで、相関モジュールのエンド・ツー・エンド学習を可能にすること。
• 同じ空間的サイズでない特徴マップ（非対称なサイズ）の統合を、サイズのアライメントを要せずに行えるようにすること。
• ボクシングボックスサイズのような非視覚的事前知識を、相関学習プロセスに統合すること。
• 速度を犠牲にすることなく、多様なベンチマークでトラッキングのロバスト性と正確性を向上させること。

提案手法

• 異なる空間的次元を持つ特徴マップの統合を可能にするために、クロス相関を2つの数学的に同等な演算に分解する非対称畳み込み（ACM）を提案する。
• シアンプストラッカーにおけるDW-XCorrの代替として、学習可能なモジュールを設計し、大規模データを用いたオフライン事前学習を可能にすることで、特徴表現を向上させる。
• 視覚的特徴と併せて、ボクシングボックスサイズを相関層での追加の事前知識として連結するメカニズムを導入する。
• テンプレートとサーチ領域の特徴を別々に処理する二本のブランチアーキテクチャを採用し、ACMを介して相関を実行する。
• 特徴マップが同じサイズでなくてもよいように、連結された特徴マップ上で動作する学習可能なカーネルを採用する。
• ACMを、SiamFC、SiamRPN++、SiamBANの3つのSOTAシアンプストラッカーに、最小限のアーキテクチャ変更で統合する。

Figure 1: Comparison between DW-XCorr and ACM in terms of being fooled by distractors (first row), information distribution across channels (second row) and background suppression to better discriminative target boundaries (third row). DW-XCorr produces similar responses for distractors and the targ

実験結果

リサーチクエスチョン

• RQ1 大規模事前学習を活用することで、学習可能な相関モジュールが、手作業で設計されたDW-XCorrを凌駕できるか？
• RQ2 ボクシングボックスサイズを事前知識として統合することで、トラッキングの性能とロバスト性がどのように向上するか？
• RQ3 空間的サイズのアライメントを要せず、非対称な特徴マップを効果的に統合できる相関モジュールは実現可能か？
• RQ4 提案されたACMは、干渉要因による誤検出を低減し、境界の局所化を改善できるか？
• RQ5 ACMは、LaSOT、VOT、OTB-100のような多様なベンチマークで、どの程度性能が向上するか？

主な発見

• LaSOTベンチマークでは、ACMを搭載したトラッカーがベースライン比で5.8%のAUC絶対値向上を達成し、優れた一般化性能を示した。
• VOT2016では、SiamBAN-ACMがベースラインのSiamBAN比でEAOで4.4%の絶対値向上を達成し、故障率が20%低下した。
• VOT2019では、ACMを搭載したトラッカーが一貫した性能向上を示し、ベースラインと比較して精度とロバスト性が向上した。
• UAV123では、SiamBAN-ACMがAUCスコア64.8を達成し、SiamCAR（61.4）とSiamBAN（63.1）を上回った。
• アブレーションスタディの結果、ACモジュールとボクシングボックスサイズの統合の両方が性能向上に寄与しており、事前知識なしの変種よりも、完全なACMが優れた性能を示した。
• ACMを搭載したトラッカーは高い推論速度を維持しており、GTX1080TiでSiamFC-ACMは172 FPSで動作し、速度コストは最小限に抑えられた。

Figure 2: Comparison of (c) AC with (a) DW-XCorr and (b) a naive strategy to fuse different-sized feature maps. (a): DW-XCorr uses a $C$ channel feature map extracted from the template as kernel and convolves instance feature maps in a depth-wise manner to generate a $C$ channel correlation feature