[論文レビュー] DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking

Mohamed H. Abdelpakey, Mohamed Shehata+1 more|arXiv (Cornell University)|Sep 7, 2018

Video Surveillance and Tracking Methods参考文献 29被引用数 6

ひとこと要約

DensSiam は、非局所的特徴学習を活用して外見の変化に対してより頑健になるように設計された、自己注意メカニズムを備えたエンドツーエンドで密に接続されたシアンズネットワークを提案する。この手法は、OTB2013/2015 および VOT2015–2017 ベンチマークで最先端の性能を達成し、60 FPS の推論速度を実現しており、既存のリアルタイムトラッカーと比較して精度、頑健性、期待平均オーバーラップの面で優れている。

ABSTRACT

Convolutional Siamese neural networks have been recently used to track objects using deep features. Siamese architecture can achieve real time speed, however it is still difficult to find a Siamese architecture that maintains the generalization capability, high accuracy and speed while decreasing the number of shared parameters especially when it is very deep. Furthermore, a conventional Siamese architecture usually processes one local neighborhood at a time, which makes the appearance model local and non-robust to appearance changes. To overcome these two problems, this paper proposes DensSiam, a novel convolutional Siamese architecture, which uses the concept of dense layers and connects each dense layer to all layers in a feed-forward fashion with a similarity-learning function. DensSiam also includes a Self-Attention mechanism to force the network to pay more attention to the non-local features during offline training. Extensive experiments are performed on four tracking benchmarks: OTB2013 and OTB2015 for validation set; and VOT2015, VOT2016 and VOT2017 for testing set. The obtained results show that DensSiam achieves superior results on these benchmarks compared to other current state-of-the-art methods.

研究の動機と目的

• 従来のシアンズネットワークが局所的で頑健でない外見モデルや、深層アーキテクチャにおける高いパラメータ数の制限を解消すること。
• 密接接続アーキテクチャを用いて非局所的文脈特徴を捉えることで、視覚的オブジェクト追跡における一般化性能と頑健性を向上させること。
• 高いパフォーマンスとリアルタイム推論速度を維持しながら、深層シアンズネットワークにおける共有パラメータ数を削減すること。
• オフライン学習中に意味的に関連する非局所的特徴に注目できるように、自己注意メカニズムを統合すること。

提案手法

• DensSiam は、各層が順方向にすべての直前の層に接続される密接続型のシアンズアーキテクチャを採用しており、特徴の再利用と勾配消失の緩和を可能にしている。
• 特徴マップの次元を制御し、パラメータ数を削減するために、1×1畳み込みと平均プーリングを含むトランジション層を備えたドンブロックを用いている。
• 自己注意モジュールをターゲットブランチの最終特徴マップに適用し、注目重みを計算することで、意味的に重要な非局所的特徴にネットワークが注目できるようにしている。
• サーチブランチはターゲットブランチとすべての重みを共有しており、候補パッチとターゲットテンプレート間の類似度計算を効率的に行える。
• 初期学習率を 10⁻³ から 10⁻⁸ に幾何的に低下させるスケジュールを用いて、類似度学習関数をエンドツーエンドで訓練している。
• 入力解像度はターゲットパッチで 127×127、サーチ画像で 255×255 に設定されており、スケール変動は O=1.0375 および s={-2,0,2} の多スケールサーチによって処理されている。

実験結果

リサーチクエスチョン

• RQ1 標準的なシアンズネットワークと比較して、密接続型のシアンズアーキテクチャは、特徴表現とオブジェクト追跡の頑健性を向上させることができるか？
• RQ2 自己注意メカニズムを統合することで、外見の変化や背景の雑音に対するネットワークの対処能力がどのように向上するか？
• RQ3 密接続アーキテクチャは、追跡精度と速度を維持または向上させながら、共有パラメータ数をどの程度削減できるか？
• RQ4 提案された DensSiam アーキテクチャは、遮蔽や運動ぼかしを含む多様な追跡シナリオにおいて、既存の最先端のトラッカーと比較してより優れた一般化性能を示すか？

主な発見

• VOT2015 ベンチマークでは、DensSiam は精度（A）0.619、頑健性（R）1.24、期待平均オーバーラップ（EAO）0.34 を達成し、MDNet や DeepSRDCF といった非リアルタイムトラッカーを上回った。
• VOT2016 では、A が 0.56、R が 1.08、EAO が 0.3310 となり、ECOhc、Staple、SiamRN、GCF すべての指標で上回った。
• VOT2017 では、A が 0.540、R が 0.350、EAO が 0.250 となり、SiamFC、SiamDCF、CSRDCF++、Staple と比較して精度と頑健性の両面で優れた結果を示した。
• 1台の Titan XP GPU で 60 FPS で実行可能であり、高い精度と頑健性を維持したままリアルタイム性能を実現した。
• 自己注意メカニズムにより、非局所的で意味的に関連する特徴に注目することで、特徴表現が著しく向上し、外見の変化に伴う性能向上が見られた。
• 密接続構造により、標準的なシアンズネットワークと比較して共有パラメータ数が削減され、パラメータ効率性と一般化性能が向上したが、速度に影響を与えることなく実現された。