[論文レビュー] Learning Spatial-Aware Regressions for Visual Tracking

Chong Sun, Dong Wang+2 more|arXiv (Cornell University)|Jun 22, 2017

Video Surveillance and Tracking Methods参考文献 29被引用数 6

ひとこと要約

本論文では、空間的留意性を持つカーネル化されたリッジ回帰（KRR）と空間的に正則化された畳み込みニューラルネットワーク（CNN）を組み合わせた、新しい視覚追跡手法LSARTを提案する。クロスパッチ類似度をモデル化し、局所的なフィルタ応答を強制することで、遮蔽や運動に対する耐性が向上する。VOT-2017で最先端の性能を達成し、2番目に良いトラッカー比で相対的に12.94%の向上を達成した。

ABSTRACT

In this paper, we analyze the spatial information of deep features, and propose two complementary regressions for robust visual tracking. First, we propose a kernelized ridge regression model wherein the kernel value is defined as the weighted sum of similarity scores of all pairs of patches between two samples. We show that this model can be formulated as a neural network and thus can be efficiently solved. Second, we propose a fully convolutional neural network with spatially regularized kernels, through which the filter kernel corresponding to each output channel is forced to focus on a specific region of the target. Distance transform pooling is further exploited to determine the effectiveness of each output channel of the convolution layer. The outputs from the kernelized ridge regression model and the fully convolutional neural network are combined to obtain the ultimate response. Experimental results on two benchmark datasets validate the effectiveness of the proposed method.

研究の動機と目的

• 従来のKRRおよびCNNベースのトラッカーが空間的構造をモデル化できず、過学習や局所化の悪化を起こすという限界を解消する。
• 深層特徴におけるパッチ間の空間的関係を明示的にモデル化することで、追跡の耐性を向上させる。
• KRRがオブジェクト全体の構造を捉え、CNNが局所的領域に焦点を当てる、補完的な学習フレームワークを構築する。
• CNNフィルターカーネルに空間的制約を課すことで、過学習を低減し一般化性能を向上させる。
• 特に困難な条件下でも、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• パッチ間類似度カーネルを用いたカーネル化されたリッジ回帰モデルを提案し、類似度スコアを重み付けして回帰係数と同時に最適化する。
• KRRモデルを微分可能なニューラルネットワークに再定式化し、エンドツーエンドの学習と効率的な最適化を可能にする。
• 完全畳み込みネットワークに空間的に正則化されたフィルターカーネルを導入し、各出力チャネルがターゲットの特定の局所的領域に応答するように制約を課す。
• 距離変換プーリングを用いて各特徴マップ応答の信頼性を評価し、効果的な学習を導く。
• データ拡張（回転）を含む二段階の訓練戦略を採用し、CNNパラメータを効果的に更新し、過学習を低減する。
• KRRとCNNモデルのヒートマップを統合して、より正確な応答マップを生成し、ターゲットの局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴におけるクロスパッチ類似度をモデル化することで、視覚追跡におけるカーネル化されたリッジ回帰の耐性が向上するか？
• RQ2 CNNフィルターカーネルの空間的正則化は、局所化精度の向上と過学習の低減に寄与するか？
• RQ3 空間的留意性を持つKRRとCNNモデルを組み合わせることで、個々のモデルよりも優れた性能が得られるか？
• RQ4 最近のベンチマーク（例：VOT-2017）において、提案手法は最先端のトラッカーと比較してどのように性能を発揮するか？
• RQ5 各モジュール（CPSおよびSRK）が全体の追跡性能に果たす寄与度はどの程度か？

主な発見

• LSARTトラッカーはVOT-2017ベンチマークで最高のEAOスコアを達成し、2番目に良いトラッカー（CFCF）に対して相対的に12.94%の向上を示した。
• VOT-2017データセットにおいて、手作業で特徴を設計しない状態でもEAOが0.275に達し、CCOTを上回り、トップトラッカーと同等の競争力を持つ。
• アブレーションスタディの結果、クロスパッチ類似度（CPS）と空間的に正則化されたカーネル（SRK）モジュールを併用することで、ベースライン手法比で精度が9.75%向上、AUCが10.89%向上した。
• CPSモジュール単体でも、ベースライン比で精度が5.35%向上、成功プロット（success plots）が6.93%向上した。
• SRKモジュール単体でも、精度で相対的に4.8%、AUCで5.2%の向上を示し、その有効性が裏付けられた。
• OTB-2015では、成功スコア0.606、精度0.841を達成し、モジュール統合による顕著な改善が確認された。