[論文レビュー] Learning to Update for Object Tracking.

Li Bi, Wenxuan Xie+2 more|arXiv (Cornell University)|Jun 19, 2018

Video Surveillance and Tracking Methods参考文献 26被引用数 3

ひとこと要約

本論文では、大規模なオフライン動画データからオンライン学習アルゴリズム自体を学習するための「アップデートを学ぶ」という手法を提案する。この手法により、オブジェクトトラッカーにおける適応的モデル更新が可能となり、テンプレートベースおよび相関フィルタベースのトラッカーの両方を向上させ、リアルタイムGPUトラッカーの中で最先端の性能を達成するとともに、低メモリ使用量でリアルタイムを超える速度で動作する。

ABSTRACT

Model update lies at the heart of object tracking.Generally, model update is formulated as an online learning problem where a target model is learned over the online training dataset. Our key innovation is to \emph{learn the online learning algorithm itself using large number of offline videos}, i.e., \emph{learning to update}. The learned updater takes as input the online training dataset and outputs an updated target model. As a first attempt, we design the learned updater based on recurrent neural networks (RNNs) and demonstrate its application in a template-based tracker and a correlation filter-based tracker. Our learned updater consistently improves the base trackers and runs faster than realtime on GPU while requiring small memory footprint during testing. Experiments on standard benchmarks demonstrate that our learned updater outperforms commonly used update baselines including the efficient exponential moving average (EMA)-based update and the well-designed stochastic gradient descent (SGD)-based update. Equipped with our learned updater, the template-based tracker achieves state-of-the-art performance among realtime trackers on GPU.

研究の動機と目的

• オブジェクトトラッキングにおける手作業で設計されたオンライン更新ルールの制限を克服し、更新プロセス自体を学習すること。
• 固定された更新ヒューリスティクスに依存せず、多様なオフライン動画シーケンスから学習することで、トラッカーのロバスト性と精度を向上させること。
• GPU上でリアルタイム推論に適した、軽量で高速かつメモリ効率の良い更新メカニズムを開発すること。
• テンプレートベースおよび相関フィルタベースのトラッカーを含む、異なるトラッカー・アーキテクチャにわたって学習されたアップデーターの一般化を示すこと。

提案手法

• 大規模なオフライン動画データセットを用いて、オンライン学習アルゴリズムを学習するための再帰的ニューラルネットワーク（RNN）を訓練する。
• RNNに基づくアップデーターを用いてオンライン学習シーケンスを処理し、従来の更新ルールに代わる更新済みのターゲットモデルを生成する。
• 学習されたアップデーターを、プラグインモジュールとしてテンプレートベースおよび相関フィルタベースのトラッカーに統合する。
• 多数の動画シーケンスを用いてアップデーターをエンドツーエンドで訓練し、追跡精度と更新安定性を最適化する。
• オンラインサンプルの特徴表現を入力とし、精錬されたモデル更新ベクトルを出力するようにRNNを設計する。
• 推論時にパラメータ数と計算複雑性を最小限に抑えることで、GPU上でリアルタイム性能を達成するようにアップデーターを効率化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、手作業で設計されたルールよりも、オブジェクトトラッキングにおけるオンライン更新プロセスをより効果的に学習できるか？
• RQ2 学習されたアップデーターは、テンプレートベースおよび相関フィルタトラッカーのような異なるトラッカー・アーキテクチャに一般化できるか？
• RQ3 学習されたアップデーターは、低メモリ使用量を維持しながら、リアルタイム性能を達成できるか？
• RQ4 追跡性能とロバスト性の観点から、EMA や SGD といった標準ベースラインと比較して、学習されたアップデーターはどのように優れているか？

主な発見

• 学習されたアップデーターは、標準ベンチマーク上でテンプレートベースおよび相関フィルタベースの両方のトラッカーの性能を一貫して向上させる。
• テンプレートベースのトラッカーに統合した場合、GPU上のリアルタイムトラッカーの中で最先端の精度を達成する。
• 学習されたアップデーターは、GPU上でリアルタイムを超える速度で動作し、推論時のメモリフットプリントが小さい。
• RNNベースのアップデーターは、指数的移動平均（EMA）ベースおよび確率的勾配降下（SGD）ベースの更新ベースラインの両方を追跡精度で上回る。
• 学習されたアップデーターは、異なる追跡アーキテクチャにわたって良好に一般化され、移行性とロバスト性を示している。