[論文レビュー] Real-time visual tracking by deep reinforced decision making

Janghoon Choi, Junseok Kwon+1 more|arXiv (Cornell University)|Feb 21, 2017

Video Surveillance and Tracking Methods参考文献 46被引用数 7

ひとこと要約

本論文では、動的プールから最適なテンプレートを選択するために深層強化学習を用いるリアルタイム視覚追跡手法を提案する。これにより、外観変化への耐性が向上し、トラッカーのずれが軽減される。合成トラッキングエピソード上で方策勾配法を用いて方策ネットワークを訓練することで、43 fpsの高速性を達成し、OTB-2015およびOTB-2013ベンチマークでベースライン手法よりも10%のOPE性能向上を達成した。

ABSTRACT

One of the major challenges of model-free visual tracking problem has been the difficulty originating from the unpredictable and drastic changes in the appearance of objects we target to track. Existing methods tackle this problem by updating the appearance model on-line in order to adapt to the changes in the appearance. Despite the success of these methods however, inaccurate and erroneous updates of the appearance model result in a tracker drift. In this paper, we introduce a novel real-time visual tracking algorithm based on a template selection strategy constructed by deep reinforcement learning methods. The tracking algorithm utilizes this strategy to choose the appropriate template for tracking a given frame. The template selection strategy is self-learned by utilizing a simple policy gradient method on numerous training episodes randomly generated from a tracking benchmark dataset. Our proposed reinforcement learning framework is generally applicable to other confidence map based tracking algorithms. The experiment shows that our tracking algorithm runs in real-time speed of 43 fps and the proposed policy network effectively decides the appropriate template for successful visual tracking.

研究の動機と目的

• 視覚追跡におけるオンライン外観モデル更新の不正確さが引き起こすトラッカーのずれを解消すること。
• オンライン学習設定において、いつ、どのように外観モデルを更新すべきかを明示的にラベル化できないという課題を克服すること。
• 強化学習を用いて自己学習可能で一般化可能なテンプレート選択戦略を、リアルタイム視覚追跡用に開発すること。
• 深層強化学習とシアンペスマッチングネットワークを統合し、長期的な追跡精度と耐性を向上させること。
• モジュラー設計により、他の信頼度マップベースの追跡アルゴリズムにも適用可能であることを実現すること。

提案手法

• エージェントが状態表現に基づいてプール内の最良のテンプレートを選択するように、視覚追跡を逐次意思決定問題として定式化する。
• 共有畳み込み層を備えたシアンペスマッチングネットワークを用い、テンプレートと現在のフレーム間の類似度スコアを計算する。
• VOT-2015ベンチマークデータセットからランダムに生成されたトラッキングエピソード上で、方策勾配法を用いて方策ネットワークを訓練する。
• 経験再生メモリを用いてトレーニングの安定性を高め、サンプル効率を向上させる。
• 予測スコアマップを処理するために畳み込み層を用いて状態を抽象化し、テンプレート選択のための行動確率を生成する。
• 方策ネットワークからの正規化スコアを用い、各フレームで最も信頼度の高いテンプレートを選択して局所化を行う。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、視覚追跡におけるトラッカーのずれを低減するテンプレート選択方策を効果的に学習できるか？
• RQ2 方策勾配法で訓練された方策ネットワークは、ヒューリスティックまたは最尤推定によるテンプレート選択と比較して、長期追跡性能で優れているか？
• RQ3 提案手法は、遮蔽、照明変化、スケール変化といった困難な属性に対して、どの程度性能向上を達成するか？
• RQ4 ノイズや曖昧なサンプルに過適合しない高パフォーマンスを維持するための最適な更新間隔は何か？
• RQ5 強化学習に基づくテンプレート選択戦略は、他の信頼度マップベースの追跡フレームワークへ一般化可能か？

主な発見

• 提案されたトラッカーは43 fpsのリアルタイム性能を達成しており、実用的導入に適している。
• OTB-2013およびOTB-2015ベンチマークにおいて、ベースライン手法と比較してOPE（全体精度評価）で10%の性能向上を達成した。
• 遮蔽、照明変化、スケール変化を含む8つの困難な属性においても、競争力のある結果を示した。
• ぼやけた映像（例：blurFace、basketball、panda）のような長期シーケンスにおいて、性能向上が顕著であり、適切なテンプレート選択がずれを軽減していることが確認された。
• 更新間隔を短くすると性能がわずかに向上するが、長くすると性能が低下するため、最適な更新頻度が存在することが示された。
• 定性的な分析により、方策ネットワークは曖昧または高不確実性の予測を避け、低不確実性で信頼性の高いテンプレートを好むように学習していることが確認された。