[論文レビュー] Learning to Filter: Siamese Relation Network for Robust Tracking

Siyuan Cheng, Bineng Zhong+5 more|arXiv (Cornell University)|Apr 2, 2021

Video Surveillance and Tracking Methods参考文献 49被引用数 4

ひとこと要約

本論文は、メタラーニングを用いたドメイントランスファーフィルタリングと分類・回帰ブランチの統合的最適化を実現する、Siamese Relation Network (SRN) を提案する。この手法は、VOT2018、VOT2019、OTB100、LaSOT、UAV123 の5つのベンチマークで最先端の性能を達成し、リアルタイム推論が可能であり、遮蔽、高速移動、背景の雑音といった状況下でも精度が向上する。

ABSTRACT

Despite the great success of Siamese-based trackers, their performance under complicated scenarios is still not satisfying, especially when there are distractors. To this end, we propose a novel Siamese relation network, which introduces two efficient modules, i.e. Relation Detector (RD) and Refinement Module (RM). RD performs in a meta-learning way to obtain a learning ability to filter the distractors from the background while RM aims to effectively integrate the proposed RD into the Siamese framework to generate accurate tracking result. Moreover, to further improve the discriminability and robustness of the tracker, we introduce a contrastive training strategy that attempts not only to learn matching the same target but also to learn how to distinguish the different objects. Therefore, our tracker can achieve accurate tracking results when facing background clutters, fast motion, and occlusion. Experimental results on five popular benchmarks, including VOT2018, VOT2019, OTB100, LaSOT, and UAV123, show that the proposed method is effective and can achieve state-of-the-art results. The code will be available at https://github.com/hqucv/siamrn

研究の動機と目的

• 背景の雑音、遮蔽、高速移動といった複雑な状況下で、シアン・トラッカーの限界的なロバストネスを改善すること。
• 同一のターゲットをマッチングするのではなく、ターゲットとドメイントランスファーを区別する能力を学習することで、識別能を向上させること。
• 分類と回帰ブランチの不一致を、統合的最適化により低減すること。
• 初期ターゲット定位後、微調整なしにドメイントランスファーをフィルタリングできるようにすること。

提案手法

• 少数ショット、メタラーニングに基づく対照的学習により訓練された関係検出器（RD）を導入し、ターゲットとプロポーザル特徴間の関係を測定する。
• 分類スコアとRD出力を統合して境界ボックス予測を共同で精錬するリファインメントモジュール（RM）を採用する。
• トレーニング中に三つ組ベースの対照的損失を用い、ターゲットとバックグラウンドサンプル間の類似性と非類似性を同時に学習する。
• 難易度の高いサンプルに対するモデルのロバストネスを向上させるために、トレーニング中にハードネガティブマーチングを適用する。
• 包括的な特徴比較を実現するため、複数レベルの特徴アグリゲーション（conv3、conv4、conv5 から）と複数の関係ヘッドタイプ（グローバル、ローカル、パッチ）を活用する。
• 推論時に、プロポーザル特徴を正確なROIプーリングにより抽出し、RDの入力として使用する。

Figure 1: Tracking Result of our Siamese relation network with two state-of-the-art trackers in VOT2018 [ 21 ] . Benefiting from our Relation Detector and Refinement Module, when facing similar distractors, appearance change and complex background, our tracker is more robust to these challenges and

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされた関係検出器は、追加の微調整なしに、背景からのドメイントランスファーを効果的にフィルタリングできるか？
• RQ2 リファインメントモジュールによる分類と回帰の共同最適化は、これらのブランチ間の不一致をどの程度低減できるか？
• RQ3 対照的学習戦略は、複雑な視覚的条件下で、シアン・トラッカーの識別能をどの程度向上させるか？
• RQ4 ロバストなターゲット-バックグラウンド区別に最適な特徴レベルと関係ヘッドタイプの組み合わせは何か？

主な発見

• 提案手法は、VOT2018、VOT2019、OTB100、LaSOT、UAV123 の5つの標準ベンチマークで最先端の性能を達成した。
• OTB100では、全特徴アグリゲーションと3つの関係ヘッドタイプ（グローバル、ローカル、パッチ）を組み合わせた場合、AUCスコアが0.701に達した。
• 対照的学習戦略により、単純なワンウェイワンショット学習と比較してAUCが1.3%向上し、識別能の向上が裏付けられた。
• ハードネガティブマーチングにより、AUCがさらに0.3%向上し、難易度の高いサンプルに対するロバストネスの向上が示された。
• conv4 と conv5 の特徴の組み合わせが二段階アグリゲーションで最良の性能を示したが、三段階アグリゲーションが全体のAUCで最高を記録した。
• リアルタイム推論速度を維持しながら、遮蔽、運動ブラー、背景の雑音の処理において、既存のシアン・トラッカーを著しく上回った。

Figure 2: The tracking pipeline of the proposed Siamese Relation Network. The proposed Relation detector (RD) and joint Refinement Module (RM) are presented. During tracking, we feed the features of proposals that are generated from the regression branch by precise ROI pooling [ 6 ] into RD to measu