[論文レビュー] Ranking-Based Siamese Visual Tracking

Feng Tang, Qiang Ling|arXiv (Cornell University)|May 24, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、背景の干渉要因に対する識別性を高めるとともに、分類と局所化の整合性を向上させる、シアンプソン視覚追跡のためのランクベース最適化（RBO）フレームワークを提案する。分類ランク損失とIoUを用いたランク損失を導入することで、7つのベンチマークでトラッカーのロバスト性と正確性が向上し、推論コストを増加させることなく最先端の性能を達成する。

ABSTRACT

Current Siamese-based trackers mainly formulate the visual tracking into two independent subtasks, including classification and localization. They learn the classification subnetwork by processing each sample separately and neglect the relationship among positive and negative samples. Moreover, such tracking paradigm takes only the classification confidence of proposals for the final prediction, which may yield the misalignment between classification and localization. To resolve these issues, this paper proposes a ranking-based optimization algorithm to explore the relationship among different proposals. To this end, we introduce two ranking losses, including the classification one and the IoU-guided one, as optimization constraints. The classification ranking loss can ensure that positive samples rank higher than hard negative ones, i.e., distractors, so that the trackers can select the foreground samples successfully without being fooled by the distractors. The IoU-guided ranking loss aims to align classification confidence scores with the Intersection over Union(IoU) of the corresponding localization prediction for positive samples, enabling the well-localized prediction to be represented by high classification confidence. Specifically, the proposed two ranking losses are compatible with most Siamese trackers and incur no additional computation for inference. Extensive experiments on seven tracking benchmarks, including OTB100, UAV123, TC128, VOT2016, NFS30, GOT-10k and LaSOT, demonstrate the effectiveness of the proposed ranking-based optimization algorithm. The code and raw results are available at https://github.com/sansanfree/RBO.

研究の動機と目的

• ハードネガティブサンプルが高信頼度を持つ場合にトラッカーを誤導する背景の干渉要因に対処すること。
• 従来のシアンプソントラッカーにおける分類信頼度と局所化精度の不整合を解消すること。
• トレーニング中にポジティブおよびネガティブな候補同士の関係を明示的にモデル化することで、モデルの汎化性能を向上させること。
• アーキテクチャの変更や追加の推論計算を要せず、さまざまなシアンプソントラッカーと互換性を持つプラグアンドプレイな最適化戦略を開発すること。

提案手法

• 分類をランク付けのタスクとして扱う分類ランク損失を提案し、ポジティブサンプルがハードネガティブサンプル（干渉要因）よりも高い順位に位置するように保証する。
• ポジティブサンプルの分類信頼度スコアと局所化予測のインターセクションオーバーイリオン（IoU）を一致させるIoUを用いたランク損失を導入する。
• 従来のシアンプソントラッカーと互換性があり、アーキテクチャの変更や追加の推論計算を必要としないように損失関数を設計する。
• 2段階の最適化戦略を採用する：まず分類ランク損失で干渉要因の信頼度を抑制し、次にIoUを用いた損失で高信頼度の予測が適切に局所化されていることを保証する。
• 元の RankDetNet の IoU-ランク損失を変更し、最適化を2つのサブタスクに分離し、明示的な制約を設けることで、トレーニングの安定性と性能を向上させる。
• アンカーベース（SiamRPN++）およびアンカーレス（SiamBAN）の両方のシアンプソントラッカーに加え、トランスフォーマーに基づく（TransT）トラッカーに対しても検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 ランクベース最適化戦略は、ハードネガティブサンプルに対するシアンプソントラッカーの識別性を向上させることができるか？
• RQ2 分類信頼度とIoUを一致させることで、推論コストを増加させずに局所化精度を向上させることができるか？
• RQ3 提案されたランクベース最適化は、多様な追跡ベンチマークおよびトラッカー・アーキテクチャにどの程度効果的か？
• RQ4 ランクベース最適化は、トランスフォーマーに基づく視覚トラッカーに対しても一般化可能か？

主な発見

• 提案された RBO 法は、TC128、NFS30、UAV123 の統合ベンチマークで SiamRPN++ を 60.63% から 62.08% に 1.45% 向上させる。
• SiamBAN-RBO は、同一のベンチマークセットで 61.15% から 62.24% に 1.09% 向上させる。
• 分類ランク損失は、可視化結果から干渉要因の信頼度を効果的に抑制していることが示され、2段階のハードネガティブマイニングを上回る性能を示す。
• IoUを用いたランク損失は性能向上に顕著な効果を示し、最適化の安定性が向上した修正版が、元の RankDetNet 損失を上回る。
• TransT+RBO は LaSOT で AUC 0.7% 向上、UAV123 で 0.6% 向上させ、アテンションベースのアーキテクチャに対しても本手法の有効性を確認する。
• アブレーションスタディにより、両方のランク損失が独立してかつ相乗的に性能向上に寄与しており、特に IoU を用いた損失が最大の向上をもたらしていることが確認された。