[論文レビュー] Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation

Feng Li, Yingjie Yao+4 more|arXiv (Cornell University)|Oct 5, 2017

Video Surveillance and Tracking Methods参考文献 1被引用数 8

ひとこと要約

本稿では、視覚追跡におけるアスペクト比の変動に対処するために、1次元境界相関フィルタと2次元中心相関フィルタを統合した新規な視覚追跡フレームワークIBCCFを提案する。左、右、上、下の境界を別々にモデル化し、正則化を用いて境界フィルタと中心フィルタのほぼ直交性を強制することで、OTB、VOT、Temple-Colorベンチマークにおいて最先端の精度と耐性を達成し、平面内／平面外回転および変形に対してもHCFおよびsHCFを上回る性能を発揮する。

ABSTRACT

The aspect ratio variation frequently appears in visual tracking and has a severe influence on performance. Although many correlation filter (CF)-based trackers have also been suggested for scale adaptive tracking, few studies have been given to handle the aspect ratio variation for CF trackers. In this paper, we make the first attempt to address this issue by introducing a family of 1D boundary CFs to localize the left, right, top, and bottom boundaries in videos. This allows us cope with the aspect ratio variation flexibly during tracking. Specifically, we present a novel tracking model to integrate 1D Boundary and 2D Center CFs (IBCCF) where boundary and center filters are enforced by a near-orthogonality regularization term. To optimize our IBCCF model, we develop an alternating direction method of multipliers. Experiments on several datasets show that IBCCF can effectively handle aspect ratio variation, and achieves state-of-the-art performance in terms of accuracy and robustness.

研究の動機と目的

• 相関フィルタ（CF）ベースの視覚トラッカーにおけるアスペクト比の変動に起因する課題に取り組むが、スケール適応の進展にもかかわらず、依然として未解決のままである。
• 標準のCFトラッカーが中心位置の局所化に依存するが、非一様なスケールおよびアスペクト比の変化に適応できないという限界を克服する。
• 1次元境界相関フィルタの族を用いて、同時にターゲットの中心と4つの境界を追跡する統合型トラッキングフレームワークを構築する。
• 境界フィルタと中心フィルタの構造的一致性を、近似的直交性正則化項を用いて強制することで、追跡の精度と安定性を向上させる。
• 各部分問題に対して閉形式解が得られる交替方向一般乗数法（ADMM）を用いて、提案モデルを効率的に最適化する。

提案手法

• ターゲットオブジェクトの左、右、上、下の境界を、マルチチャネル表現における1次元ベクトルとして別々に扱うことで、1次元相関フィルタの族を導入し、境界を独立して局所化する。
• 2次元中心CFと1次元境界CFを統合し、フィルタ間の冗長性を防ぎ、識別能を向上させるために、近似的直交性を強制する正則化項を含む、連合最適化モデルIBCCFを定式化する。
• IBCCF最適化問題を解くために、交替方向一般乗数法（ADMM）を用い、各部分問題（中心CFと境界CFの更新）が閉形式解を有することを活用する。
• より優れた表現を得るために、深層畳み込みニューラルネットワーク（CNN）特徴を活用するとともに、一般化を検証するため、手作業特徴（HOGおよびカラー名）の性能評価も実施する。
• 計算効率を維持するため、高速フーリエ変換（FFT）と巡回行列構造を適用し、CFベースのトラッカーが持つ速度優位性を保つ。
• 推論時に境界と中心の予測を統合し、すべてのフィルタからの応答を組み合わせて最終的なバウンディングボックスを推定することで、アスペクト比変化への柔軟な適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 1次元相関フィルタを用いてターゲット境界を独立してモデル化することで、視覚追跡におけるアスペクト比変動への耐性が向上するか？
• RQ2 中心フィルタと境界フィルタの間の近似的直交性を強制することで、追跡性能が向上し、冗長性が低減するか？
• RQ3 IBCCFフレームワークは、平面内／平面外回転および変形によって引き起こされるアスペクト比の変化を処理する点で、最先端のCFベースのトラッカーと比較してどのように差をつけるか？
• RQ4 HOGやカラー名のような手作業特徴を用いても、IBCCFモデルは高い精度と耐性を維持できるか？
• RQ5 ADMMに基づく最適化戦略は、多様な追跡シーケンスにおいて効率的に収束し、安定した性能を発揮するか？

主な発見

• OTB-2015データセットにおいて、IBCCFはEAOスコア0.266を達成し、HCF（0.236）およびsHCF（0.220）を上回り、アスペクト比変動への処理能力が優れていることを示している。
• VOT-2016ベンチマークでは、IBCCFはEAO 0.266、精度0.54、耐性1.22を達成し、トップクラスのトラッカーにランクインし、オーバーラップ精度でHCFを4.4%上回っている。
• Temple-Colorデータセットでは、アスペクト比変動を伴う40シーケンスサブセットにおいて、IBCCFは成功確率で2位にランクされ、IBCCF-HOGCNバージョンは手作業特徴を用いてもDSSTおよびSAMFを上回っている。
• アブレーションスタディにより、近似的直交性正則化が追跡精度を向上させることを確認し、IBCCF-HOGCN（制約なし）は完全なIBCCF-HOGCNモデルに劣っている。
• VOT-2017データセットでは、IBCCFは1.57の耐性スコアを達成し、追跡ドリフトや障害に対する強い耐性を示しており、困難なシーケンスでも高い精度（0.48）を維持している。
• CarScale、Trans、Pandaシーケンスにおける定性的な結果から、IBCCFはアスペクト比の変化に効果的に適応している一方、HCFおよびsHCFは剛性のある中心のみの局所化により失敗している。