[論文レビュー] Ocean: Object-aware Anchor-free Tracking

Zhipeng Zhang, Houwen Peng+3 more|arXiv (Cornell University)|Jun 18, 2020

Video Surveillance and Tracking Methods参考文献 46被引用数 15

ひとこと要約

本論文では、事前定義されたアンカー箱の微調整ではなく、直接的にターゲットオブジェクトの位置を回帰するオブジェクトに注意を払うアンカーレスなシアンプストラッカー、Oceanを提案する。これにより、低IoU条件下でもより高い局所化精度と耐性を実現する。オブジェクトに注意を払う特徴を学ぶために特徴一致モジュールを導入し、不規則な拡張畳み込みを用いてマルチスケールモデリングを実現することで、VOT-2018を含む5つのベンチマークで最先端の性能を達成し、58 FPSで0.467のEAOを達成した。

ABSTRACT

Anchor-based Siamese trackers have achieved remarkable advancements in accuracy, yet the further improvement is restricted by the lagged tracking robustness. We find the underlying reason is that the regression network in anchor-based methods is only trained on the positive anchor boxes (i.e., $IoU \geq0.6$). This mechanism makes it difficult to refine the anchors whose overlap with the target objects are small. In this paper, we propose a novel object-aware anchor-free network to address this issue. First, instead of refining the reference anchor boxes, we directly predict the position and scale of target objects in an anchor-free fashion. Since each pixel in groundtruth boxes is well trained, the tracker is capable of rectifying inexact predictions of target objects during inference. Second, we introduce a feature alignment module to learn an object-aware feature from predicted bounding boxes. The object-aware feature can further contribute to the classification of target objects and background. Moreover, we present a novel tracking framework based on the anchor-free model. The experiments show that our anchor-free tracker achieves state-of-the-art performance on five benchmarks, including VOT-2018, VOT-2019, OTB-100, GOT-10k and LaSOT. The source code is available at https://github.com/researchmm/TracKit.

研究の動機と目的

• アンカーベースのシアンプストラッカーが低IoU予測を微調整できないという限界を解消する。これによりトラッキングのずれが生じる。
• IoU ≥ 0.6 の高IoUアンカーでのみ学習された回帰ネットワークの一般化性能の低さを克服する。
• 遮蔽、変形、照明変化の下でも、不正確な予測を是正できるようにすることで、トラッキングの耐性を向上させる。
• 空間的整合モジュールを用いてオブジェクトに注意を払う特徴を学習することで、特徴の識別能を向上させる。
• オンラインモデル更新に対応できるスケーラブルなフレームワークを設計し、推論中に外観の変化に適応できるようにする。

提案手法

• アンカーベースの回帰を直接的なバウンディングボックス回帰に置き換え、各ピクセルが正解ボックス内からターゲットオブジェクトの四隅までの距離を予測する。
• 2次元空間変換を用いて予測されたバウンディングボックス内の特徴をサンプリングする特徴一致モジュールを導入し、分類用にオブジェクトに注意を払う特徴を生成する。
• 特徴結合モジュールで不規則な拡張畳み込みを採用し、計算コストを著しく増加させることなくマルチスケールのターゲット表現をモデル化する。
• テンプレート領域とサーチ領域からの特徴抽出のため、共有バックボーンを持つ二重ストリームのシアンプスネットワークを用いる。
• オブジェクトに注意を払う特徴を活用して、前景と背景の識別能を向上させる分類ヘッドを設計する。
• 推論中に外観変化に適応できるように、プラグイン型のオンライン更新モジュールを統合する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベース手法が微調整に失敗する低IoU予測を是正できるトラッキングフレームワークを設計できるか？
• RQ2 オブジェクトに注意を払う特徴は、シアンプストラッキングにおける分類の信頼性と局所化精度をどのように向上させるか？
• RQ3 特徴抽出における不規則な拡張は、マルチスケール表現学習をどの程度向上させるか？
• RQ4 提案されたアンカーレスフレームワークは、VOT、OTB、GOT-10k、LaSOTを含む多様なベンチマークで最先端の性能を達成できるか？
• RQ5 オンライン更新モジュールの統合は、外観変化への耐性向上にどの程度効果的か？

主な発見

• Oceanは、VOT-2018で0.467のEAOという新たな最先端性能を達成し、SiamRPN++ よりも相対的に12.8%、SiamRPN よりも92.2%高い性能を発揮した。
• 特徴一致モジュールの導入によりEAOが2.9ポイント向上し、特徴の識別能向上の有効性が裏付けられた。
• 不規則な拡張畳み込みモジュールの導入により、ベースライン比でEAOが4.2ポイント向上し、強力なマルチスケールモデリング能力が示された。
• GOT-10kを訓練に追加することで性能が1.2ポイント向上（0.455から0.467に）、モデルアーキテクチャそのものによる性能向上であることが確認された。
• オンライン更新モジュールの統合によりさらに2.2ポイントの向上が得られ、フレームワークのスケーラビリティと適応性が裏付けられた。
• 特徴可視化の結果、オブジェクトに注意を払う特徴はオブジェクト全体に注目するのに対し、通常の特徴は中心部に注目する傾向があることが確認され、グローバルな文脈理解が向上した。