[論文レビュー] A Twofold Siamese Network for Real-Time Object Tracking

Anfeng He, Chong Luo+2 more|arXiv (Cornell University)|Feb 24, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 70

ひとこと要約

SA-Siam は、外観と意味論の二つの分岐を持つ Siamese ネットワークを別々に訓練し、意味論ブランチにチャネル注意モジュールを組み込むことで、OTB でのリアルタイム追跡の最先端性能と VOT ベンチマークでの優れた成績を実現します。

ABSTRACT

Observing that Semantic features learned in an image classification task and Appearance features learned in a similarity matching task complement each other, we build a twofold Siamese network, named SA-Siam, for real-time object tracking. SA-Siam is composed of a semantic branch and an appearance branch. Each branch is a similarity-learning Siamese network. An important design choice in SA-Siam is to separately train the two branches to keep the heterogeneity of the two types of features. In addition, we propose a channel attention mechanism for the semantic branch. Channel-wise weights are computed according to the channel activations around the target position. While the inherited architecture from SiamFC \cite{SiamFC} allows our tracker to operate beyond real-time, the twofold design and the attention mechanism significantly improve the tracking performance. The proposed SA-Siam outperforms all other real-time trackers by a large margin on OTB-2013/50/100 benchmarks.

研究の動機と目的

• 堅牢なリアルタイム追跡のために補完的な意味論特徴と外観特徴を活用する動機づけ。
• 異種特徴を分離訓練する二重 Siamese アーキテクチャを提案。
• 意味ブランチでターゲット適応のためのチャネル注意機構を導入。
• リアルタイム性能を維持しつつ識別性と一般化を向上。
• 標準的な追跡ベンチマーク（OTB, VOT）で評価し、設計選択を正当化するアブレーション研究を実施。

提案手法

• 完全畳み込みの Siamese 分岐を2つ: 外観 (A-Net) と意味論 (S-Net)。
• 外観ブランチは類似度学習のためにゼロから訓練; 意味論ブランチは固定パラメータの pretrained ImageNet ネットワークを使用。
• 意味論特徴は、チャネル重み付け（注意）モジュールから得られるチャネル重みを計算してから、1x1 ConvNet で融合。z^s と文脈から。
• 全体のヒートマップは、ブランチのヒートマップの加重和で表される: h = lambda*h_a + (1-lambda)*h_s、lambda は検証セットで調整。
• 意味論ブランチのマルチレベル特徴（conv4/conv5）を融合。注意モジュールはターゲット特徴にチャネルごとの重みを適用。
• スケール変化に対処するため3スケール入力を使用。各ブランチに対してロジスティック損失を用い、ILSVRC-2015 ビデオデータセットでオフライン訓練。

実験結果

リサーチクエスチョン

• RQ1 オンライン更新なしで異種の意味論特徴と外観特徴はリアルタイム追跡を改善できるか？
• RQ2 二つの分岐の訓練を分離することで特徴の異質性を保ち性能を向上させるか？
• RQ3 意味論特徴のチャネル注意機構は識別性と追跡の頑健性を高めるか？
• RQ4 適切な重み付けで二つの分岐を結合することが標準ベンチマークに与える影響は？

主な発見

トラッカー	OTB-2013 AUC	OTB-2013 Prec.	OTB-50 AUC	OTB-50 Prec.	OTB-100 AUC	OTB-100 Prec.	FPS
SA-Siam (ours)	0.677	0.896	0.610	0.823	0.657	0.865	50

• SA-Siam は OTB-2013/50/100 ベンチマークにおいて AUC と Precision で他のすべてのリアルタイム追跡器を上回る。
• SA-Siam は VOT ベンチマークで最先端の性能を達成しつつリアルタイム速度（約50 FPS）を維持。
• アブレーションにより意味論ブランチと外観ブランチが補完的な利点を提供し、注意と多階層意味論特徴が結果を大幅に改善することを示す。
• 二つの分岐を統合して訓練するよりも、分離訓練の方が性能が向上することを示し、異種設計を支持。
• 意味論ブランチのチャネル注意は特に多階層意味論特徴を用いた場合に顕著な効果をもたらす。