[論文レビュー] Learning to Track Any Object

Achal Dave, Pavel Tokmakov+2 more|arXiv (Cornell University)|Oct 25, 2019

Video Surveillance and Tracking Methods参考文献 49被引用数 4

ひとこと要約

本論文では、学習可能なオブジェクト性プライア（objectness prior）を用いて、カテゴリ特異的オブジェクト検出器をカテゴリに依存しないオブジェクト特異的トラッカーに再利用する統一フレームワークを提案する。画像と動画データを共同で学習し、微分可能で即時の線形テンプレート適応を適用することで、最初のフレームでのボックスレベルの教師信号のみを用いても、高品質なインスタンスマスクを伴い、SOTA（最先端）のトラッキングおよび動画オブジェクトセグメンテーション性能を達成する。

ABSTRACT

Object tracking can be formulated as "finding the right object in a video". We observe that recent approaches for class-agnostic tracking tend to focus on the "finding" part, but largely overlook the "object" part of the task, essentially doing a template matching over a frame in a sliding-window. In contrast, class-specific trackers heavily rely on object priors in the form of category-specific object detectors. In this work, we re-purpose category-specific appearance models into a generic objectness prior. Our approach converts a category-specific object detector into a category-agnostic, object-specific detector (i.e. a tracker) efficiently, on the fly. Moreover, at test time the same network can be applied to detection and tracking, resulting in a unified approach for the two tasks. We achieve state-of-the-art results on two recent large-scale tracking benchmarks (OxUvA and GOT, using external data). By simply adding a mask prediction branch, our approach is able to produce instance segmentation masks for the tracked object. Despite only using box-level information on the first frame, our method outputs high-quality masks, as evaluated on the DAVIS '17 video object segmentation benchmark.

研究の動機と目的

• カテゴリ特異的検出器から得られる汎用的オブジェクト性プライアを組み込むことで、ユーザー初期化が必要な汎用的オブジェクトトラッキングの課題に取り組むこと。
• 微分可能でエンドツーエンドの方法で判別的なオブジェクトテンプレートを学習することで、干渉要因や外観変化に対する耐性を向上させること。
• 最小限の教師信号で、オブジェクト検出、単一オブジェクトトラッキング、動画オブジェクトセグメンテーションを1つのアーキテクチャで統合すること。
• テストシーケンスでの微調整を必要とせず、大規模なトラッキングおよび動画セグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• COCO（画像）とOxUvA、GOT10k（動画）のデータセットを共同で学習することで、カテゴリ特異的Mask R-CNN検出器をカテゴリに依存しないトラッカーに再利用する。
• 最初のフレームの特徴を用いて、背景および干渉要因を分離する微分可能で閉形式の線形識別子（T_d）を導入する。
• テンプレート埋め込みを用いて類似度マップを計算し、その後続フレームの特徴を再重み付けすることで、追跡対象の正確な局所化を可能にする。
• 最初のフレームでのボックスレベルの教師信号のみを用いて、インスタンスおよび動画オブジェクトセグメンテーションを可能にするマスク予測ヘッドをモデルに拡張する。
• 長時間にわたるシーケンスにおける追跡の一貫性を維持するために、テスト時に単純な時系列ヒューリスティックを適用する。
• 検出、トラッキング、セグメンテーションに同一のネットワークを学習・デプロイすることで、統一されたパイプラインを実現する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ特異的検出器を、カテゴリ特異的プライアを必要とせずに、汎用的かつオブジェクト特異的なトラッカーに効果的に再利用できるか？
• RQ2 微分可能で即時のテンプレート適応戦略は、トラッキングにおける干渉要因や外観変化に対する耐性をどのように向上させられるか？
• RQ3 検出に訓練された統一モデルが、トラッキングおよび動画オブジェクトセグメンテーションにおいてどれほど最先端の性能を達成できるか？
• RQ4 最初のフレームでのボックスレベルの教師信号のみを用いても、統一アーキテクチャで高品質なインスタンスマスクを生成できるか？

主な発見

• OxUvAベンチマーク（長期間トラッキング）において、外部データを一切使用せず、先行手法を上回る最先端の性能を達成した。
• GOT10kベンチマークでは、外部データを用いた最先端のアプローチを上回り、トラッキング精度で顕著な優位性を示した。
• LTB35データセット（VOT 2018 長期間チャレンジ）では、1つのモデルとハイパーパrameterで全実験を実行した結果、Fスコア61.2を達成し、データセット固有のチューニングを要する先行手法を上回った。
• DAVIS’17動画セグメンテーションベンチマークでは、平均Fスコア67.8、平均Jaccard 59.2を達成し、ピクセルレベルのマスク教師信号やエンドツーエンドの微調整を要する専用手法と競合する性能を示した。
• 最初のフレームでのボックスレベルのアノテーションのみを用いても、高品質なセグメンテーションマスクを生成でき、Fスコアの低下が12.0にとどまり、外観変化に対する強い耐性を示した。
• 検出器として用いた場合、COCOインスタンスマスクmAPが30.5に達し、トラッキング最適化を経たにもかかわらず、優れた一般化性能を示した。