[論文レビュー] SANet: Structure-Aware Network for Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|Nov 21, 2016

Video Surveillance and Tracking Methods参考文献 50被引用数 13

ひとこと要約

SANetは、複数の畳み込み特徴レベルにわたるオブジェクト自己構造をモデル化するための構造に配慮した追跡ネットワークを提案する。再帰ニューラルネットワーク（RNN）を統合することで、類似する干渉要因に対する識別性が向上する。CNNとRNNの特徴をスキップ連結によって統合することで、OTB100、TC-128、VOT2015ベンチマークで最先端の性能を達成し、精度、成功、耐性性能の指標において既存のCNNベースのトラッカーを上回った。

ABSTRACT

Convolutional neural network (CNN) has drawn increasing interest in visual tracking owing to its powerfulness in feature extraction. Most existing CNN-based trackers treat tracking as a classification problem. However, these trackers are sensitive to similar distractors because their CNN models mainly focus on inter-class classification. To address this problem, we use self-structure information of object to distinguish it from distractors. Specifically, we utilize recurrent neural network (RNN) to model object structure, and incorporate it into CNN to improve its robustness to similar distractors. Considering that convolutional layers in different levels characterize the object from different perspectives, we use multiple RNNs to model object structure in different levels respectively. Extensive experiments on three benchmarks, OTB100, TC-128 and VOT2015, show that the proposed algorithm outperforms other methods. Code is released at http://www.dabi.temple.edu/~hbling/code/SANet/SANet.html.

研究の動機と目的

• CNNベースのトラッカーがクラス間分類に過剰に依存するため、類似する干渉要因の処理に限界を示す問題に対処すること。
• ターゲットオブジェクトの内在的自己構造情報を利用することで、トラッキングの耐性を向上させること。
• RNNをCNNと統合し、複数の特徴レベルにわたるオブジェクト内の長距離空間的依存関係をモデル化すること。
• スキップ連結戦略によるCNNとRNNの特徴統合を通じて、特徴表現を向上させること。
• 大規模で挑戦的な追跡ベンチマーク上で提案アーキテクチャの有効性を検証すること。

提案手法

• 本手法は、CNN特徴階層の異なるレベルでオブジェクト構造をモデル化する複数のRNNを採用し、マルチスケールの空間的関係を捉える。
• 自己構造は、特徴マップを逐次処理するRNNによって符号化され、オブジェクト内での長距離依存関係が学習される。
• 対応する層でCNNとRNNの特徴マップをスキップ連結戦略により統合することで、外観と構造的文脈の両方を豊かに表現する。
• 一般化を向上させるために、VOT2013、VOT2014、VOT2015データセットを用いたマルチドメイン学習でネットワークを訓練する。
• 最終的なトラッカーは、統合された特徴をオンライン分類に使用し、干渉要因に対する強固な識別を可能にする。
• 標準的な指標（精度、成功プロット、期待オーバーラップ比）を用いて、OTB100、TC-128、VOT2015でアーキテクチャを評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトの内部自己構造をモデル化することで、類似する干渉要因に対するトラッキングの耐性が向上するか？
• RQ2 オブジェクト特徴内の空間的依存関係をRNNで組み込むと、トラッキング性能にどのように影響するか？
• RQ3 異なるCNN特徴レイヤーにわたるマルチレベル構造モデリングは、単一レベルのモデリングを上回る識別性能をもたらすか？
• RQ4 CNNとRNNの特徴をスキップ連結することで、トラッキング精度と耐性性能がどの程度向上するか？
• RQ5 多様な困難な条件下で、標準ベンチマークにおいて本手法は最先端のトラッカーと比較してどのように差をつけるか？

主な発見

• OTB100では、SANetは0.922の精度スコアと0.688の成功スコアを達成し、11の属性すべてにおいて他の最先端手法を上回った。
• TC-128では、SANetは精度と成功プロットの両方で最高のパフォーマンスを示し、C-COT、HCFT、HDT、MDNetなどのトラッカーを一貫して上回った。
• VOT2015では、SANetは最高の期待平均オーバーラップ比（0.3895）を達成し、0.3783を記録したMDNetでさえも上回った。
• 精度と耐性の観点から、SANetは1.17と0.61のスコアを記録し、DSST、DeepSRDCF、LGT、MEEM、MUSTER、SAMF、TGPRをすべて上回った。
• アブレーションスタディの結果、マルチドメイン学習がパフォーマンスを向上させることを確認した。この学習を削除するとわずかに性能が低下し、その有効性が裏付けられた。
• スキップ連結戦略は特徴表現を顕著に向上させ、すべてのベンチマークでトラッキングパフォーマンスの向上に寄与した。