[論文レビュー] SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking

Dongyan Guo, Jun Wang+3 more|arXiv (Cornell University)|Nov 17, 2019

Video Surveillance and Tracking Methods参考文献 32被引用数 41

ひとこと要約

SiamCAR はアンカー・提案なしの Siamese ネットワークを用い、ピクセルごとの分類と回帰を行い、視覚追跡を実現し、リアルタイム速度で最先端の結果を達成します。

ABSTRACT

By decomposing the visual tracking task into two subproblems as classification for pixel category and regression for object bounding box at this pixel, we propose a novel fully convolutional Siamese network to solve visual tracking end-to-end in a per-pixel manner. The proposed framework SiamCAR consists of two simple subnetworks: one Siamese subnetwork for feature extraction and one classification-regression subnetwork for bounding box prediction. Our framework takes ResNet-50 as backbone. Different from state-of-the-art trackers like Siamese-RPN, SiamRPN++ and SPM, which are based on region proposal, the proposed framework is both proposal and anchor free. Consequently, we are able to avoid the tricky hyper-parameter tuning of anchors and reduce human intervention. The proposed framework is simple, neat and effective. Extensive experiments and comparisons with state-of-the-art trackers are conducted on many challenging benchmarks like GOT-10K, LaSOT, UAV123 and OTB-50. Without bells and whistles, our SiamCAR achieves the leading performance with a considerable real-time speed.

研究の動機と目的

• 視覚追跡をピクセル単位の分類と回帰に分解し、物体の位置と境界ボックスを予測する。
• アンカーと領域提案を排除し、ハイパーパラメータ調整と複雑さを削減する。
• 堅牢な追跡のために多層・多チャネルの Siamese 特徴表現を活用する。
• 単純な完全畳み込みフレームワークでエンドツーエンド訓練を行い、精度と効率を向上させる。
• 余計な装飾なしで強力な一般化を示す。

提案手法

• テンプレートと検索領域から特徴を抽出する backbone（ResNet-50）を持つ Siamese サブネットワークを使用する。
• 深度方向クロス相関を適用して、豊富な意味情報を含むマルチチャネル応答マップを生成する。
• 複数のバックボーン段階（F3, F4, F5）からの特徴を連結して、ロバストなピクセルごとの予測を行う。
• 各位置で前景/背景の分類ブランチを、各位置で境界ボックス距離（l,t,r,b）を予測する回帰ブランチを使用する。
• 中心性ブランチを追加して低品質・中心から外れた予測を抑制し、損失 L = Lcls + lambda1 Lcen + lambda2 Lreg の組み合わせを使用する。
• 分類にはクロスエントロピー、回帰には IOU 損失、中心性損失を用いて訓練し、推論時にはスケール変化ペナルティを用いて候補を再ランク付けし、最終ボックスを上位 k 個の近傍予測の加重平均として計算する。

実験結果

リサーチクエスチョン

• RQ1 アンカー・提案なしの Siamese フレームワークは、標準ベンチマークの領域提案ベースの追跡器と同等またはそれを超えられるか？
• RQ2 ピクセルごとの分類とマルチチャネル応答マップによって、ディストラクター、スケール変動、オクルージョンへの頑健性は向上するか？
• RQ3 完全畳み込み追跡アーキテクチャにおける多層特徴融合と中心性の影響は？
• RQ4 GOT-10K, LaSOT, UAV123, OTB-50 での精度と速度のパフォーマンスはどうか？
• RQ5 データ拡張なしのエンドツーエンド訓練だけで最先端のリアルタイム追跡性能を達成可能か？

主な発見

• SiamCAR は GOT-10K で AO、SR0.5、SR0.75 のリードを取り、52.27 FPS で動作します。
• GOT-10K で SiamCAR は SiamRPN++ より 5.2% (AO)、5.4% (SR0.5)、9.0% (SR0.75) 上回る。
• SiamCAR も LaSOT、UAV123、OTB-50 ベンチマークで複雑な tricks やデータ拡張なしでトップ性能を発揮。
• アンカー・提案なしの設計はハイパーパラメータ調整を減らし、トレーニングを簡素化しつつ高精度とリアルタイム速度を維持。
• この手法は、分類と回帰の両方をガイドする単一の応答マップを用いたピクセル単位予測フレームワークであり、ディストラクターや姿勢/スケール変動の下で堅牢な追跡を実現します。