[論文レビュー] Learning Background-Aware Correlation Filters for Visual Tracking

Hamed Kiani Galoogahi, Ashton Fagg+1 more|arXiv (Cornell University)|Mar 14, 2017

Video Surveillance and Tracking Methods参考文献 28被引用数 70

ひとこと要約

この論文は Background-Aware Correlation Filters (BACF) を導入し、ターゲットだけでなく実背景パッチからも学習することで、手作り特徴量を用いたリアルタイムで高精度な視覚追跡を実現します。深層学習を大規模に用いず、Fourier領域での ADMM ベースの最適化とオンライン更新、効率化のための Sherman-Morrison ショートカットを採用します。

ABSTRACT

Correlation Filters (CFs) have recently demonstrated excellent performance in terms of rapidly tracking objects under challenging photometric and geometric variations. The strength of the approach comes from its ability to efficiently learn - "on the fly" - how the object is changing over time. A fundamental drawback to CFs, however, is that the background of the object is not be modelled over time which can result in suboptimal results. In this paper we propose a Background-Aware CF that can model how both the foreground and background of the object varies over time. Our approach, like conventional CFs, is extremely computationally efficient - and extensive experiments over multiple tracking benchmarks demonstrate the superior accuracy and real-time performance of our method compared to the state-of-the-art trackers including those based on a deep learning paradigm.

研究の動機と目的

• 従来の相関フィルタが学習時に背景情報を無視するという制約を動機づけ、解決する。
• BACF を提案し、実背景パッチをネガティブとして利用して頑健な識別を実現する。
• フーリエ領域での効率的な最適化フレームワークを用いてリアルタイム性能を維持する。
• 標準的な追跡ベンチマークにおける BACF を、最先端の CF ベースおよび深層トラッカーと比較して評価する。

提案手法

• BACF を複数チャネルのリッジ回帰として定式化し、 cropping operator を介して full frame からパッチをサンプリングする。
• Circular foreground-only training を、large-support training samples から crop する P x[k] を用いた背景を含む目的関数へ置換する。
• Fourier領域での ADMM アプローチにより得られた最適化を解き、効率的な g-h 更新と Sherman–Morrison に基づく逆更新を含める。
• 外観変化に対する頑健性のためのオンライン適応を適用し、検出のためのマルチスケール探索を実施する。
• IoU ベースの指標と success plots の AUC を用いて OTB50/OTB100/Temple-Color128/VOT2015 で評価する。

実験結果

リサーチクエスチョン

• RQ1 実背景パッチから学習することは、リアルタイム性能を損なうことなく CF トラッカーの精度を改善できるか。
• RQ2 BACF は、手作り特徴 CF トラッカー、深層特徴 CF トラッカー、完全に深層トラッカーの標準ベンチマークにおいてどのような性能を示すか。
• RQ3 提案する ADMM ベースの BACF フレームワークは、CPU 上で実際に効率的なマルチチャネル学習を実現できるか。
• RQ4 オンライン更新とスケール/探索戦略が、遮蔽、変形、背景雑音などの共通の課題に対して追跡の頑健性に与える影響は何か。

主な発見

手法	OTB50	OTB100	TC128	平均成功率	平均 FPS
BACF	85.4	77.6	65.2	76.0	35.3
SRDCF	76.0	72.0	62.1	70.0	3.8
Staple	73.2	69.1	62.9	68.4	48.3
LCT	79.4	69.3	52.6	67.1	18.5
SAMF	67.7	64.0	56.0	62.5	11.4
MEEM	68.2	62.6	64.0	64.2	11.1
DSST	67.1	60.1	47.4	58.2	17.7
KCF	61.8	54.2	46.4	54.1	173.4
Struck	58.2	52.2	40.7	50.3	9.2
CFLB	47.3	44.7	37.7	39.8	87.1
TLD	45.1	43.1	35.3	41.1	22.1
DAT	35.2	36.3	48.1	39.8	60.3

• BACF は OTB50、OTB100、TC128 で複数の手作り特徴トラッカーよりも AUC ベースの success が高い。
• BACF は深層特徴トラッカーと競合する精度を保ちつつ、約35 FPS のリアルタイム CPU パフォーマンスを達成し、CCOT のような深層特徴トラッカーよりは桁違いに高速。
• VOT2015 では BACF が上位トラッカーに対して精度と頑健性の競争力を示し、いくつかのベースラインより精度が向上。
• 属性別解析により、背景パッチを活用することで混雑、変形、遮蔽、照明変化などに対して BACF が改善を示す。
• 深層特徴 CF トラッカーと比較すると、BACF は CCOT などより約100–170倍の速度利得を提供しつつ、精度は競争力を維持する。