[論文レビュー] Visual Tracking by Reinforced Decision Making.

Janghoon Choi, Junseok Kwon+1 more|arXiv (Cornell University)|Feb 21, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 26

ひとこと要約

本稿では、不正確な外見モデル更新によって引き起こされるずれを軽減するために、最適なテンプレートの選択に深層強化学習を用いるリアルタイムの視覚追跡アルゴリズムを提案する。方策ネットワークはベンチマークから得られる合成エピソード上で方策勾配法により訓練され、43 fpsの高速性と向上した追跡精度を達成する。

ABSTRACT

One of the major challenges of model-free visual tracking problem has been the difficulty originating from the unpredictable and drastic changes in the appearance of objects we target to track. Existing methods tackle this problem by updating the appearance model on-line in order to adapt to the changes in the appearance. Despite the success of these methods however, inaccurate and erroneous updates of the appearance model result in a tracker drift. In this paper, we introduce a novel real-time visual tracking algorithm based on a template selection strategy constructed by deep reinforcement learning methods. The tracking algorithm utilizes this strategy to choose the appropriate template for tracking a given frame. The template selection strategy is self-learned by utilizing a simple policy gradient method on numerous training episodes randomly generated from a tracking benchmark dataset. Our proposed reinforcement learning framework is generally applicable to other confidence map based tracking algorithms. The experiment shows that our tracking algorithm runs in real-time speed of 43 fps and the proposed policy network effectively decides the appropriate template for successful visual tracking.

研究の動機と目的

• 外見変化の影響、特にオンライン外見モデル更新の誤りによって引き起こされるずれの課題に対処すること。
• 各フレームに対して最も信頼性の高いテンプレートを動的に選択するリアルタイム追跡フレームワークの開発。
• 人為的に設計されたヒューリスティクスを必要とせず、自己適応的なテンプレート選択方策を学習するための強化学習の活用。
• 信頼度マップに基づく追跡アルゴリズムに一般化可能であるフレームワークの構築。

提案手法

• 追跡ベンチマークデータセットから抽出されたランダムに生成されたトレーニングエピソード上で、シンプルな方策勾配法を用いて方策ネットワークを訓練する。
• テンプレート選択を段階的意思決定問題として定式化し、エージェントが各フレームの候補領域から最良のテンプレートを選択する。
• 視覚特徴を符号化する深層ニューラルネットワークを用い、候補テンプレート上での確率分布を出力する。
• 追跡精度に基づいて強化学習の報酬を定義し、局所化誤差を最小化するテンプレートの選択を促進する。
• 訓練済みの方策をリアルタイム追跡パイプラインに統合し、推論時における動的テンプレート更新を可能にする。
• 特徴抽出およびマッチング部とテンプレート選択ロジックを分離することで、既存の信頼度マップベースのトラッカーと互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくテンプレート選択戦略は、外見変化下でも追跡のずれを効果的に低減できるか？
• RQ2 方策勾配法で訓練された方策ネットワークは、リアルタイムで未観測の追跡シーケンスにどの程度一般化できるか？
• RQ3 提案手法は、ベースラインのオンライン外見モデル更新戦略と比較して、どの程度追跡精度を向上させるか？
• RQ4 強化学習フレームワークは、他の信頼度マップベースの追跡アルゴリズムに対しても効果的に適用可能か？

主な発見

• 提案されたトラッカーは43フレーム毎秒のリアルタイム性能を達成し、実用的導入に適している。
• 方策ネットワークは最適なテンプレートの選択を効果的に学習し、誤ったモデル更新によって引き起こされる追跡のずれを顕著に低減した。
• 強化学習フレームワークは一般化可能であり、他の信頼度マップベースの追跡アルゴリズムへの統合も可能である。
• 合成エピソード上で方策勾配法による訓練プロセスは、頑健で適応的なテンプレート選択方策を生み出す。
• より信頼性の高いテンプレート選択のおかげで、従来のオンライン外見モデリングアプローチに比べて追跡精度が向上した。
• 動的かつ的確なテンプレート選択により、フレームごとに最も特徴的なテンプレートを選択することで、急激な外見変化に対しても効果的に対処できた。