[論文レビュー] An In-Depth Analysis of Visual Tracking with Siamese Neural Networks

Roman Pflugfelder|arXiv (Cornell University)|Jul 3, 2017

Video Surveillance and Tracking Methods参考文献 110被引用数 12

ひとこと要約

この論文は、視覚追跡におけるシアンプソンニューラルネットワークの包括的分析を提供し、標準化されたトラッカー比較のためのLisp風形式を提案するとともに、現在の評価手法における限界を強調している。トラッカー設計の主な側面—特徴学習、ブランチアーキテクチャ、トレーニングプロトコル、追跡パイプラインへの統合—を同定し、再現可能で信頼性のあるベンチマークとベイズ情報に基づく不確実性モデリングの推進を提言することで、より強力で一般化可能な追跡システムの発展を促進する。

ABSTRACT

This survey presents a deep analysis of the learning and inference capabilities in nine popular trackers. It is neither intended to study the whole literature nor is it an attempt to review all kinds of neural networks proposed for visual tracking. We focus instead on Siamese neural networks which are a promising starting point for studying the challenging problem of tracking. These networks integrate efficiently feature learning and the temporal matching and have so far shown state-of-the-art performance. In particular, the branches of Siamese networks, their layers connecting these branches, specific aspects of training and the embedding of these networks into the tracker are highlighted. Quantitative results from existing papers are compared with the conclusion that the current evaluation methodology shows problems with the reproducibility and the comparability of results. The paper proposes a novel Lisp-like formalism for a better comparison of trackers. This assumes a certain functional design and functional decomposition of trackers. The paper tries to give foundation for tracker design by a formulation of the problem based on the theory of machine learning and by the interpretation of a tracker as a decision function. The work concludes with promising lines of research and suggests future work.

研究の動機と目的

• 9つの最先端のシアンプソンニューラルネットワークトラッカーの機能的設計および学習能力を分析すること。
• 現在のベンチマーキング手法における欠陥を特定することで、視覚追跡評価における再現性と比較可能性の欠如に対処すること。
• トラッカーの機能的分解を可能にする、新しいLisp風形式の提案により、異なる手法間の体系的で定性的な比較を可能にすること。
• トラッキングを意思決定関数としてモデル化し、特徴と類似度の共同学習を強調することで、トラッカー設計を機械学習理論に根拠づけること。
• 不確実性モデリング、メモリ統合、耐性および一般化性に関する改善評価基準を含む、今後の研究方向性の同定。

提案手法

• トラッカーを機能的合成として表現するためのプレフィックス記法に基づく形式的枠組みを提案し、設計パターンの構造的比較を可能にする。
• ブランチ設計、ブランチ間接続、損失関数統合に注目した、シアンプソンネットワークのアーキテクチャ分析。
• データ選択（例：ImageNet、OTB-2013）およびテストセット漏れが報告された性能に与える影響を含む、トレーニングプロトコルの評価。
• 評価指標（例：AuC、Aスコア、Rスコア）の標準化と、OTB-2013やVOT-2015のような安定したベンチマークデータセットの継続的使用を提言。
• 機械学習理論に根拠を置いた、トラッカーを意思決定関数としてモデル化する理論的枠組みの導入。ベイズ推論への拡張可能性も含む。
• 遮蔽や運動変化に対する耐性を高めるために、メモリ機構（例：LSTM）、アテンションモジュール、パーツベース表現の統合を提案。

実験結果

リサーチクエスチョン

• RQ1 ブランチ設計やブランチ間接続といった、シアンプソンネットワークのアーキテクチャ的要素が、追跡性能および一般化性にどのように影響を与えるか。
• RQ2 なぜ現在の視覚追跡評価手法は再現性と異種手法間比較に不十分なのか。
• RQ3 トレーニングデータの漏れやデータセットシフトが、追跡ベンチマークにおける報告された性能向上の妥当性をどの程度損なうのか。
• RQ4 Lisp風表記による形式的で機能的分解（例：トラッカーの構造的分解）が、設計パターンの同定および体系的比較をどの程度向上させるのか。
• RQ5 不確実性モデリングおよびベイズ的解釈が、シアンプソンベースの追跡システムの耐性および解釈可能性を向上させる役割を果たすか。

主な発見

• VOT-2017におけるAスコアは0.418から0.509に21.77%向上したが、これは、たとえ最先端のトラッカーであっても、真値との平均オーバーラップが依然として低いことを示している。
• VOT-2017におけるRスコアは1.297から0.281に78.33%低下し、相対的な改善が見られても、絶対的な故障率は依然として高いままである。
• 顕著な進歩にもかかわらず、AスコアとRスコアはそれぞれ0.5%および0.7%未満で飽和しており、性能向上のリターンが減少していることが示唆されている。
• 最近のベンチマークでは、相関フィルタが深層学習（8.53%）よりも大きな性能向上貢献（23.12%）を示しており、深層学習が追跡分野で画期的な進展をもたらしたとは言えないことを示している。
• MDNetはOTB-2013で70.8%のスコアを達成したが、GPU上で1秒間に1フレームしか処理できない高い計算コストを要しており、精度と効率のトレードオフが顕著である。
• 本論文では、トレーニングデータの漏れと一貫性のない評価プロトコルが、再現性の欠如の主な要因であると特定し、コミュニティ全体が安定的かつ永続的なベンチマークと標準化された指標を採用するよう強く要請している。