[論文レビュー] Transferring Rich Feature Hierarchies for Robust Visual Tracking

Naiyan Wang, Siyi Li+2 more|arXiv (Cornell University)|Jan 19, 2015

Video Surveillance and Tracking Methods参考文献 37被引用数 290

ひとこと要約

本論文では、豊富な事前学習済み畳み込みニューラルネットワーク（CNN）特徴を用いて、頑健な視覚追跡を実現する深層学習トラッカーSO-DLTを提案する。オブジェクトの局所化（画像再構成ではなく）を目的として事前学習されたCNNを用い、ピクセル単位の確率マップ出力を得ることで、構造的かつスケーラブルな追跡が可能となり、オンラインファインチューニングを組み合わせ、ベンチマークで0.602のAUCを達成した。これは、最先端のトラッカー比で10%以上の向上を示している。

ABSTRACT

Convolutional neural network (CNN) models have demonstrated great success in various computer vision tasks including image classification and object detection. However, some equally important tasks such as visual tracking remain relatively unexplored. We believe that a major hurdle that hinders the application of CNN to visual tracking is the lack of properly labeled training data. While existing applications that liberate the power of CNN often need an enormous amount of training data in the order of millions, visual tracking applications typically have only one labeled example in the first frame of each video. We address this research issue here by pre-training a CNN offline and then transferring the rich feature hierarchies learned to online tracking. The CNN is also fine-tuned during online tracking to adapt to the appearance of the tracked target specified in the first video frame. To fit the characteristics of object tracking, we first pre-train the CNN to recognize what is an object, and then propose to generate a probability map instead of producing a simple class label. Using two challenging open benchmarks for performance evaluation, our proposed tracker has demonstrated substantial improvement over other state-of-the-art trackers.

研究の動機と目的

• 視覚追跡におけるラベル付き学習データの不足に取り組む。通常、1つの動画に対して1つのアノテート済みフレームしか利用されない。
• 画像再構成や分類に依存する従来のCNNベースのトラッカーの限界を克服する。これらは追跡の構造的で局所化に基づくタスクに不適切である。
• オブジェクトを局所化する豊富な特徴を転移学習により活用することで、照明変化、スケール変化、遮蔽などの外見変化に強い追跡を実現する。
• 追跡中に事前学習済みCNNをオンラインでファインチューニングすることで、ドリフトや過学習を最小限に抑えた効果的なオンライン適応を可能にする。
• ピクセル単位のオブジェクト確率を予測する構造的出力CNNを開発し、分類や回帰と比較して空間的一致性をより良く捉える。

提案手法

• ImageNet検出データ上でCNNを事前学習し、画像再構成ではなくオブジェクト局所化を目的とすることで、オブジェクト存在感の強い強いインダクティブバイアスを構築する。
• 完全畳み込みネットワークを用い、各ピクセルがターゲットオブジェクトに属する確率を示すピクセル単位の確率マップを出力する。
• ピクセル単位のマップに基づく構造的損失関数を適用し、空間的構造を保持し、局所化精度を向上させる。
• 事前学習済みCNNをオンライン追跡に転用し、最初のフレームのバウンディングボックスとその後続フレームを用いてリアルタイムでファインチューニングする。
• ドリフトを軽減し、遮蔽や外見変化時にも安定した更新を実現するため、微調整のペースを段階的に変化させる。
• 推論にはピクセル単位のマップを用い、外見変化が著しい状況でも頑健な検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模検出データで事前学習されたCNN特徴は、ラベル付きデータが限られた視覚追跡に、最小限のラベルで効果的に転移可能か？
• RQ2 出力としてピクセル単位の確率マップを用いることで、分類や回帰ベースのアプローチと比較して追跡の頑健性が向上するか？
• RQ3 事前学習済みCNNのオンラインファインチューニングにより、追跡中のモデルドリフトを軽減し、外見変化に適応可能か？
• RQ4 遮蔽、照明変化、大規模なスケール変化や回転シフトといった極端な外見変化下でも、本手法の性能はどのように振る舞うか？
• RQ5 バウンディングボックスのオーバーラップが不適切な指標となる非剛体変形オブジェクトにおいて、トラッカーは正確に維持できるか？

主な発見

• 提案されたSO-DLTトラッカーは、標準ベンチマークでAUC 0.602を達成し、以前の最先端手法（0.529）を顕著に上回った。
• 非剛体オブジェクト追跡データセットでは、SO-DLTは中央ピクセル誤差の平均が21.69を記録し、TGPR（77.88）やPixelTracker（79.26）を上回った。
• SO-DLTは、照明変化が著しいシーケンスや、オフプレーン回転、スケール変化を伴う困難な状況でも、最小限のドリフトでターゲットを追跡できた。
• 遮蔽後、ターゲットが再出現した際のドリフト是正に、差分ペースのファインチューニングが寄与し、トラッカーは頑健な性能を維持した。
• 視覚的な結果から、ダイバー、スキーヤーなど非常に変形しやすいオブジェクトを含む多様なシナリオにおいても、一貫した追跡性能を示した。
• 失敗事例は、外見が類似した干渉要因や、初期バウンディングボックスの不正確さに起因しており、特徴の不変性と初期化の改善の余地があると示唆された。