[論文レビュー] Re3 : Real-Time Recurrent Regression Networks for Object Tracking.

Daniel Gordon, Ali Farhadi+1 more|arXiv (Cornell University)|May 17, 2017

Video Surveillance and Tracking Methods参考文献 45被引用数 28

ひとこと要約

Re3 は、1回の順方向プロパゲーションで一貫して外観モデルを更新する軽量な再帰的回帰ネットワークを用いたリアルタイムディープオブジェクトトラッカーであり、遮蔽が強いシーケンスにおいて最先端の手法と比較して優れた性能を発揮し、150 FPSを達成している。

ABSTRACT

Robust object tracking requires knowledge and understanding of the object being tracked: its appearance, its motion, and how it changes over time. A tracker must be able to modify its underlying model and adapt to new observations. We present Re3, a real-time deep object tracker capable of incorporating temporal information into its model. Rather than focusing on a limited set of objects or training a model at test-time to track a specific instance, we pretrain our generic tracker on a large variety of objects and efficiently update on the fly; Re3 simultaneously tracks and updates the appearance model with a single forward pass. This lightweight model is capable of tracking objects at 150 FPS, while attaining competitive results on challenging benchmarks. We also show that our method handles temporary occlusion better than other comparable trackers using experiments that directly measure performance on sequences with occlusion.

研究の動機と目的

• モデルに時間的情報を効率的に統合するリアルタイムオブジェクトトラッカーの開発。
• 再トレーニングやインスタンス固有のファインチューニングなしに、外観モデルのオンライン適応を可能にすること。
• 挑戦的なトラッキングシーケンスにおける一時的遮蔽に対する耐性の向上。
• ベンチマークデータセット上で競争力のある追跡精度を維持しながら、高い推論速度を達成すること。

提案手法

• Re3 は、オブジェクトの外観と運動における時間的依存性をモデル化するために再帰的回帰ネットワークを採用している。
• トラッカーは、オンライン推論を用いて1回の順方向プロパゲーションでリアルタイムに更新される事前学習済み汎用モデルを利用している。
• 軽量なアーキテクチャのおかげで、標準的なハードウェアでも150 FPSの高速推論が可能である。
• 外観と運動の特徴が再帰的メカニズムを通じて統合され、時間的文脈が維持される。
• ネットワークは、多様なオブジェクトカテゴリでエンドツーエンドに訓練され、トラッキングシナリオ全体にわたる一般化を図っている。
• オンライン適応は、ストリーミング観測を用いて推論中にモデルパラメータを更新することで実現されている。

実験結果

リサーチクエスチョン

• RQ1 ディープトラッカーは、トラッキング中に継続的に外観モデルを更新しながらも、リアルタイム性能を維持できるか？
• RQ2 再帰的時間的モデリングを組み込むことで、一時的遮蔽に対する耐性がどのように向上するか？
• RQ3 汎用的な事前学習済みモデルは、インスタンス固有の適応なしに多様なトラッキングシーケンスで競争力ある性能を達成できるか？
• RQ4 オブジェクトトラッキングにおけるオンライン外観モデル更新において、速度と精度のトレードオフは何か？

主な発見

• Re3 は 150 FPS の推論速度を達成しており、リアルタイムアプリケーションに適している。
• 最先端の手法と比較して、一時的遮蔽が強いシーケンスにおいて優れた性能を示している。
• 軽量な設計にもかかわらず、標準ベンチマークで競争力のある正確性を維持している。
• 1回の順方向プロセスによるオンライン更新メカニズムのおかげで、効率的かつ継続的なモデル適応が可能である。
• ファインチューニングなしで、多様なオブジェクトカテゴリにわたって良好に一般化している。
• 再帰的アーキテクチャは長期間の時間的依存性を効果的に捉えており、トラッキングの安定性を向上させている。