[論文レビュー] Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation

Bin Yan, Dong Wang+2 more|arXiv (Cornell University)|Jul 4, 2020

Video Surveillance and Tracking Methods参考文献 69被引用数 20

ひとこと要約

Alpha-Refine は、ピクセル単位の相関層と空間に配慮した非局所層を用いて、境界ボックス推定を向上させることで、視覚追跡における新しい柔軟性があり正確なリファインメントモジュールを提案する。これにより、境界ボックス、コーナー、マスクの正確な予測が可能となる。軽量なブランチセレクタを統合することで、TrackingNet、LaSOT、VOT2018 ベンチマークの5つの主要なトラッカーにおいて、最先端の性能を達成している。

ABSTRACT

In recent years, the multiple-stage strategy has become a popular trend for visual tracking. This strategy first utilizes a base tracker to coarsely locate the target and then exploits a refinement module to obtain more accurate results. However, existing refinement modules suffer from the limited transferability and precision. In this work, we propose a novel, flexible and accurate refinement module called Alpha-Refine, which exploits a precise pixel-wise correlation layer together with a spatial-aware non-local layer to fuse features and can predict three complementary outputs: bounding box, corners and mask. To wisely choose the most adequate output, we also design a light-weight branch selector module. We apply the proposed Alpha-Refine module to five famous and state-of-the-art base trackers: DiMP, ATOM, SiamRPN++, RTMDNet and ECO. The comprehensive experiments on TrackingNet, LaSOT and VOT2018 benchmarks demonstrate that our approach significantly improves the tracking performance in comparison with other existing refinement methods. The source codes will be available at https://github.com/MasterBin-IIAU/AlphaRefine.

研究の動機と目的

• マルチステージの視覚追跡パイプラインにおける既存のリファインメントモジュールの転送性と精度の限界を解決すること。
• 境界ボックス、コーナー、セグメンテーションマスクという3つの補完的出力を同時に予測できる統合型リファインメントモジュールの開発。
• 特徴の信頼度と文脈に基づいて動的に最も適切な出力を選択できる軽量なブランチセレクタを用いて、より高い耐障害性と正確性を実現すること。
• 最先端のベーストラッカーと統合することで、多様なベンチマークにおける追跡性能を向上させること。

提案手法

• 正確な局所化を実現するため、テンプレートとサーチ領域間の微細な特徴相互作用を捉えるためにピクセル単位の相関層を導入する。
• 空間的構造を保持しながら長距離の文脈的特徴を集約するため、空間に配慮した非局所層を採用する。
• 境界ボックス、オブジェクトのコーナー、セグメンテーションマスクの3つの並列出力を生成し、それぞれ異なる追跡シナリオに最適化する。
• 特徴の信頼度と文脈に基づいて、最も適切な出力を動的に選択する軽量なブランチセレクタモジュールを設計する。
• DiMP、ATOM、SiamRPN++、RTMDNet、ECO などの既存のベーストラッカーに、プラグイン型のリファインメントヘッドとして Alpha-Refine モジュールを統合する。
• ベーストラッカーと同時にエンドツーエンドで学習させ、多タスク学習を活用して一般化性能と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 境界ボックス、コーナー、マスクという3つの補完的出力を同時に予測できる統合型リファインメントモジュールは、多様な追跡シナリオにおいて追跡の正確性と耐障害性を向上させることができるか？
• RQ2 ピクセル単位の相関層と空間に配慮した非局所層を組み合わせることで、正確な局所化に向けた特徴統合がどの程度効果的か？
• RQ3 さまざまな追跡条件下で最も適切な出力を選択することで、軽量なブランチセレクタが性能向上にどの程度寄与するか？
• RQ4 Alpha-Refine モジュールは、異なる最先端のベーストラッカーとベンチマーク間でどの程度転送可能か？

主な発見

• Alpha-Refine は、TrackingNet ベンチマークにおいて、5つの主要なベーストラッカーと統合することで、最先端の結果を達成し、追跡性能を顕著に向上させた。
• LaSOT ベンチマークでも一貫した性能向上を示し、特に長期追跡の課題や顕著な外観変化の処理において優れた効果を示した。
• VOT2018 ベンチマークでは、耐障害性と正確性が向上し、EAO（期待平均オーバーラップ）と正確性の両面で、既存のリファインメント手法を上回った。
• アブレーションスタディの結果、ピクセル単位の相関層と空間に配慮した非局所モジュールの両方が、性能向上に顕著な寄与をしていることが確認された。
• 軽量なブランチセレクタは、異なる追跡条件下で最適な出力（境界ボックス、コーナー、マスク）を効果的に特定し、全体の信頼性を向上させた。
• ソースコードは https://github.com/MasterBin-IIAU/AlphaRefine で公開されており、再現性とさらなる研究を可能としている。