[論文レビュー] Faster and Simpler Siamese Network for Single Object Tracking

Shaokui Jiang, Baile Xu+2 more|arXiv (Cornell University)|May 7, 2021

Video Surveillance and Tracking Methods参考文献 28被引用数 4

ひとこと要約

本論文は、低スペックハードウェアでもリアルタイム性能を達成しながら高い精度を維持する、より高速でシンプルなシアンプスネットワークを提案する。特徴の精錬にSqueeze-and-Excitationブロックを統合し、カーネルサイズを小さくした軽量な相関層を採用し、回帰に1×1畳み込み層と全結合層を用いることで、精度を損なわずに学習と推論を高速化した。VOTおよびOTBベンチマークにおいて、わずか5エポックの学習と最小限のデータで最先端の速度と競争力のある精度を達成した。

ABSTRACT

Single object tracking (SOT) is currently one of the most important tasks in computer vision. With the development of the deep network and the release for a series of large scale datasets for single object tracking, siamese networks have been proposed and perform better than most of the traditional methods. However, recent siamese networks get deeper and slower to obtain better performance. Most of these methods could only meet the needs of real-time object tracking in ideal environments. In order to achieve a better balance between efficiency and accuracy, we propose a simpler siamese network for single object tracking, which runs fast in poor hardware configurations while remaining an excellent accuracy. We use a more efficient regression method to compute the location of the tracked object in a shorter time without losing much precision. For improving the accuracy and speeding up the training progress, we introduce the Squeeze-and-excitation (SE) network into the feature extractor. In this paper, we compare the proposed method with some state-of-the-art trackers and analysis their performances. Using our method, a siamese network could be trained with shorter time and less data. The fast processing speed enables combining object tracking with object detection or other tasks in real time.

研究の動機と目的

• 低スペックのハードウェアリソース下でも、シアンプスネットワークベースの単一オブジェクトトラッカーにおける速度と精度のトレードオフを解消すること。
• モデルの複雑さと学習時間を低減しながらも、高いトラッキング精度を維持すること。
• モバイルプラットフォームを含む低スペックデバイスへのリアルタイム配備を可能にすること。
• パラメータ数を減らし、推論を高速化するなど、性能に影響を与えない範囲でネットワークアーキテクチャを簡素化すること。
• わずか5エポックで、ImageNet-VIDおよびGOTの15,000本の動画クリップのみを用いて効果的に学習すること。

提案手法

• 特徴抽出器にSqueeze-and-Excitation (SE)ブロックを統合し、チャネルごとの特徴表現を強化するとともに、学習を加速する。
• テンプレート領域と検索領域間の特徴マッチングを高速化するため、カーネルサイズを小さくした相関層を採用し、パラメータ数を削減する。
• ターゲットバウンディングボックス座標を予測するための効率的な回帰に、1×1畳み込み層と全結合層を用いる。
• ImageNet-VIDおよびGOTデータセット上で、15,000本の動画クリップと5エポックのみを用いて、エンド・ツー・エンドの学習を実施する。
• 特徴抽出段階と回帰段階の両方で計算複雑性を最小限に抑えることで、推論速度を最適化する。
• GeForce 840M GPUとi7-4510U CPUを含む低スペックハードウェアにモデルをデプロイし、リアルタイム性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 精度を損なわず、リアルタイム推論を達成できるように、シアンプスネットワークを簡素化できるか？
• RQ2 軽量なシアンプストラッカーにおいて、SEブロックの統合が学習速度と特徴表現にどのように寄与するか？
• RQ3 性能に影響を与えない範囲で、学習時間とデータ要件をどの程度まで削減できるか？
• RQ4 VOTやOTB100といった標準ベンチマークにおいて、提案手法は最先端のトラッカーと比べて速度と精度でどの程度の差を示すか？
• RQ5 一回の評価（one-pass evaluation）において、再初期化なしに低スペックハードウェアでも高い性能を発揮できるか？

主な発見

• 低スペックデバイス（i7-4510U + GeForce 840M）で53.05 fpsの高速な処理速度を達成し、他のトラッカーと比べて顕著に優れた性能を示した。
• VOT2016ではEAOスコア0.19、ロバストネス0.53を達成し、精度は低いものの、多数のトップトラッカーを上回るロバストネスを示した。
• VOT2017ではEAO 0.13、ロバストネス0.81を達成し、より困難なシーケンスでも強力な性能を発揮した。
• OTB100におけるワンパス評価では、成功率と精度率の両面で競争力のある結果を達成し、多数の従来手法およびディープラーニングベースのトラッカーを上回った。
• SiamFCを含む多数のシアンプスネットワークよりもモデルサイズが小さく、モバイルおよび組み込みデバイスへのデプロイに適している。
• ImageNet-VIDおよびGOTの15,000本の動画クリップのみを用いて、わずか5エポックで効果的に学習が可能であり、高いデータ効率性を示した。