[論文レビュー] Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature Space

Janghoon Choi, Junseok Kwon+1 more|arXiv (Cornell University)|Dec 26, 2017

Video Surveillance and Tracking Methods参考文献 44被引用数 9

ひとこと要約

本稿では、メタラーナーを用いて動的にターゲット固有の特徴空間を生成することで、シアンプソンマッチングネットワークを強化したリアルタイム視覚追跡フレームワークを提案する。1回のフォワードパスによる即時のパラメータ更新を可能にすることで、反復的最適化を排除し、最先端の精度を維持しながら62 fpsを達成する。

ABSTRACT

In this paper, we propose a novel on-line visual tracking framework based on Siamese matching network and meta-learner network which runs at real-time speed. Conventional deep convolutional feature based discriminative visual tracking algorithms require continuous re-training of classifiers or correlation filters for solving complex optimization tasks to adapt to the new appearance of a target object. To remove this process, our proposed algorithm incorporates and utilizes a meta-learner network to provide the matching network with new appearance information of the target object by adding the target-aware feature space. The parameters for the target-specific feature space are provided instantly from a single forward-pass of the meta-learner network. By eliminating the necessity of continuously solving the complex optimization tasks in the course of tracking, experimental results demonstrate that our algorithm performs at a real-time speed of $62$ fps while maintaining a competitive performance among other state-of-the-art tracking algorithms.

研究の動機と目的

• 分類器や相関フィルタの継続的再訓練に起因するディープ視覚追跡における計算ボトルネックを解消すること。
• ターゲットの外観変化に迅速に適応できるように、追跡中に複雑な最適化を必要としない仕組みを提供すること。
• 追跡精度を損なわず、リアルタイムの推論速度を達成すること。
• メタラーナーネットワークを用いて動的に生成されるターゲットに特化した特徴空間を導入すること。

提案手法

• リアルタイムでターゲット固有の特徴空間のパラメータを生成するため、メタラーナーネットワークを統合する。
• テンプレートと検索領域の特徴を比較することでオブジェクトの局所化を実現する、シアンプソンマッチングネットワークを用いる。
• ターゲットの外観変化に伴い、メタラーナーを1回のフォワードパスで即座に特徴空間パラメータを更新する。
• 反復的最適化を伴わず、新しい外観に適応可能なターゲットに特化した特徴空間を構築する。
• メタラーナーの外観変化にわたる一般化能力を活用し、迅速な適応を可能にする。
• オンライン追跡中に再トレーニングや複雑な最適化問題を回避できるようにフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 メタラーナーネットワークは、反復的最適化を伴わず、リアルタイムで特徴空間パラメータを適応可能にできるか？
• RQ2 提案手法は、リアルタイムの推論速度を達成しながらも、高い追跡精度を維持できるか？
• RQ3 ターゲット固有の特徴空間は、外観変化にさらされても追跡のロバスト性をどの程度向上させるか？
• RQ4 メタラーニングの統合により、従来のディープ追跡フレームワークの計算オーバーヘッドを低減できるか？

主な発見

• 提案手法は、反復的最適化を要しないにもかかわらず、62 fpsというリアルタイムの推論速度を達成し、他の手法を著しく上回る。
• 複雑な最適化手順を排除しても、最先端のアルゴリズムと比較して競争力のある追跡性能を維持している。
• メタラーナーにより、1回のフォワードパスでターゲット固有の特徴空間のパラメータを即座に生成可能である。
• 継続的な再トレーニングや最適化の排除により、精度を損なわず高速な推論が実現されている。