[論文レビュー] Robust Tracking Using Region Proposal Networks

Jimmy Ren, Zhiyang Yu+6 more|arXiv (Cornell University)|May 30, 2017

Video Surveillance and Tracking Methods参考文献 18被引用数 4

ひとこと要約

本稿では、アンサンブルや特徴工学を用いずに事前学習済み領域提案ネットワーク（RPN）の上位層特徴を活用する、新しい視覚追跡手法RPN2Tを提案する。分類精度とボクシングボックス品質を同時に最適化する新しい損失関数を導入することで、OTB50、OTB100、VOT2016ベンチマークで最先端の性能を達成し、従来のCNNベースおよび手作業特徴に基づく追跡手法を上回った。

ABSTRACT

Recent advances in visual tracking showed that deep Convolutional Neural Networks (CNN) trained for image classification can be strong feature extractors for discriminative trackers. However, due to the drastic difference between image classification and tracking, extra treatments such as model ensemble and feature engineering must be carried out to bridge the two domains. Such procedures are either time consuming or hard to generalize well across datasets. In this paper we discovered that the internal structure of Region Proposal Network (RPN)'s top layer feature can be utilized for robust visual tracking. We showed that such property has to be unleashed by a novel loss function which simultaneously considers classification accuracy and bounding box quality. Without ensemble and any extra treatment on feature maps, our proposed method achieved state-of-the-art results on several large scale benchmarks including OTB50, OTB100 and VOT2016. We will make our code publicly available.

研究の動機と目的

• CNNベースの視覚追跡におけるモデルアンサンブルおよび手作業による特徴工学の必要性を排除すること。
• 事前学習済みRPNの上位層特徴が、視覚追跡のための強力な識別的表現として機能できるかどうかを調査すること。
• 分類と局所化を同時に最適化することでRPN特徴の潜在的性能を引き出す損失関数の発見。
• ドメイン固有の適応なしに、単一で統合されたモデルを用いて標準ベンチマークで最先端の性能を達成すること。

提案手法

• 物体検出のために事前学習されたRPNの上位層特徴マップを、追跡のためのバックボーン特徴表現として利用する。
• 分類精度とボクシングボックス回帰品質を同時に最適化する新しい統合損失関数を導入し、特徴が追跡の目的に適切に一致するようにする。
• 領域提案と追跡の両方を1つのRPNベースのモデルで実行し、複数のネットワークや特徴融合戦略の必要性を回避する。
• 推論中の長期的および短期的適応のために、先行研究（例：[20]）で用いられる標準的なオンラインモデル更新プロトコルを適用する。
• 従来の最先端の追跡手法で用いられるVGGベースのモデルよりもはるかに小さい軽量なネットワークアーキテクチャを採用する。
• 追加のデータオーグメンテーションやドメイン固有のチューニングなしに、OTB50、OTB100、VOT2016で標準的な評価プロトコルを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みRPNの上位層特徴を、追加の訓練や特徴工学なしに視覚追跡に効果的に再利用できるか？
• RQ2 物体検出と視覚追跡の目的の不一致を考慮すると、RPN特徴の識別的潜在能力を引き出すために必要な損失関数の設計は何か？
• RQ3 RPN特徴を用いた単一で統合されたモデルが、標準ベンチマークで従来のCNNベースおよび手作業特徴ベースの追跡手法を上回ることができるか？
• RQ4 提案手法は、遮蔽、照明変化、ポーズ変化などの多様な困難なシナリオにおいても頑健性を維持できるか？

主な発見

• RPN2TはOTB50およびOTB100で最先端の性能を達成し、手作業特徴手法および他のCNNベースの追跡手法を上回った。
• VOT2016では、0.335の最高の期待平均オーバーラップ（EAO）スコアを達成し、評価されたすべての手法の中で第1位となった。
• VOT2016では、ACC = 0.54の競争力ある正確性と、ROB = 0.87の高い頑健性を達成し、より小型なネットワークを用いてもC-COTおよびTCNNをEAOで上回った。
• OTB100の困難なシナリオにおいて、RPN2Tは全8つのカテゴリで優れた頑健性を示し、常にすべてのベースラインを上回った。
• 提案された統合損失関数は不可欠であった—損失関数なしにRPN特徴を直接使用した場合、良好な結果が得られず、特徴の潜在能力を引き出すために不可欠であることが証明された。
• GTX Titan X GPU上で推論速度は約2 FPSを達成し、速度最適化を行っていなくても実用的であることが示された。