[論文レビュー] Siamese Box Adaptive Network for Visual Tracking

Zedu Chen, Bineng Zhong+3 more|arXiv (Cornell University)|Mar 15, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 17

ひとこと要約

本論文では、マルチスケール探索や事前に定義されたアンカーボックスを不要にするように設計された、シアンズネットワークに基づく視覚追跡フレームワーク、SiamBANを提案する。この手法は、統合的で完全畳み込みネットワーク（FCN）を用いて、境界ボックスを直接回帰し、物体を分類することで、アンカーボックスフリーなアプローチを実現する。SiamBANは、複数のベンチマークで最先端の性能を達成しながら、40 FPSで動作し、楕円に基づくラベル割り当て戦略を用いたエンド・ト・エンド学習により、スケールおよびアスペクト比推定において優れた精度を示している。

ABSTRACT

Most of the existing trackers usually rely on either a multi-scale searching scheme or pre-defined anchor boxes to accurately estimate the scale and aspect ratio of a target. Unfortunately, they typically call for tedious and heuristic configurations. To address this issue, we propose a simple yet effective visual tracking framework (named Siamese Box Adaptive Network, SiamBAN) by exploiting the expressive power of the fully convolutional network (FCN). SiamBAN views the visual tracking problem as a parallel classification and regression problem, and thus directly classifies objects and regresses their bounding boxes in a unified FCN. The no-prior box design avoids hyper-parameters associated with the candidate boxes, making SiamBAN more flexible and general. Extensive experiments on visual tracking benchmarks including VOT2018, VOT2019, OTB100, NFS, UAV123, and LaSOT demonstrate that SiamBAN achieves state-of-the-art performance and runs at 40 FPS, confirming its effectiveness and efficiency. The code will be available at https://github.com/hqucv/siamban.

研究の動機と目的

• マルチスケール探索やアンカーボックスに依存する既存の追跡手法が抱えるスケールおよびアスペクト比推定の限界を解消すること。
• 候補ボックスに関連するハイパーパrameterチューニングを回避する、より柔軟で汎用性の高い視覚追跡フレームワークの開発。
• 完全畳み込みネットワークの表現力を利用することで、スケール変動、遮蔽、外観変化といった困難な状況下でも追跡精度を向上させること。
• 物体の存在と境界ボックスオフセットを直接予測する統合的分類・回帰ヘッドを用いたエンド・ト・エンド学習を可能にすること。

提案手法

• フレームワークは、テンプレート画像とサーチ画像からの特徴抽出にシアンズネットワークバックボーンを用い、その後、相関レイヤーを介して特徴マップを生成する。
• 相関マップ上の各空間位置に、ボックスアダプティブヘッドを適用し、中心点から境界ボックスの端までの相対オフセットを表す4次元ベクトルを予測する。
• 分類（前景/背景スコア）と回帰（境界ボックスオフセット）を同時に最適化する統合的FCNを用いて、エンド・ト・エンド学習を実行する。
• さまざまなサイズやアスペクト比を持つ対象をより効果的に処理するため、楕円に基づくラベル割り当て戦略を導入し、陽性/陰性サンプルの区別を明確にした。
• 複数の畳み込み層（例：conv3, conv4, conv5）からの特徴マップを統合することで、特徴表現の強化と追跡のロバスト性を向上させる。
• トレーニング中に曇ったサンプルを無視するバッファメカニズムを適用し、一般化性能の向上と教師信号のノイズ低減を図る。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール探索やアンカーボックスに依存せずに、スケールおよびアスペクト比推定において高い精度を達成できる視覚追跡フレームワークは構築可能か？
• RQ2 アンカーフリーで完全畳み込みネットワークに基づく設計は、アンカーベースまたはマルチスケール手法と比較して、追跡精度と効率性においてどのように異なるか？
• RQ3 ラベル割り当て戦略の選択（楕円、円、長方形）が、追跡性能およびロバスト性に与える影響は何か？
• RQ4 複数レベルの特徴統合は、多様な視覚追跡ベンチマークにおいて追跡性能の向上にどの程度効果的か？
• RQ5 FCNベースのシアンズネットワークに統合的分類・回帰ヘッドを導入することで、既存の最先端の追跡手法を精度および推論速度の両面で上回ることができるか？

主な発見

• SiamBANは、VOT2018, VOT2019, OTB100, NFS, UAV123, LaSOTの6つの主要ベンチマークで最先端の性能を達成した。
• トレーニングは40 FPSで実行され、高い効率性とリアルタイム動作の可能性を裏付けた。
• OTB100では、マルチレベル特徴統合と楕円ベースのラベル割り当てを組み合わせたSiamBANがAUC 0.696を達成し、円および長方形ラベルを用いたバージョンを上回った。
• アブレーションスタディの結果、conv3, conv4, conv5の特徴を併用することで最良の性能が得られ、OTB100におけるAUCは0.696となった。
• 楕円ベースのラベル割り当て手法は、円および長方形ラベルと比較して、追跡のロバスト性と精度を向上させた。AUCの上昇と、スケールおよびアスペクト比推定におけるより優れた視覚的結果が裏付けた。
• SiamBANは、OTB100においてSiamRPN++を5.1%上回るAUCを達成し、全評価ベンチマークでSiamFCおよびSiamRPN++を上回る精度を示した。