[論文レビュー] Tracking Holistic Object Representations

Axel Sauer, Elie Aljalbout+1 more|arXiv (Cornell University)|Jul 21, 2019

Video Surveillance and Tracking Methods被引用数 17

ひとこと要約

この論文は、シアンズ特徴空間内で多様なオブジェクトテンプレートを維持することで、バックボーンネットワークの微調整なしに視覚追跡のロバスト性と精度を向上させる、プラグアンドプレイフレームワークを提案する。シンプルで高速なネットワークアーキテクチャを用いることで、ベンチマーク上で最先端の性能を達成し、現在のSOTA手法の3倍速く動作する。

ABSTRACT

Recent advances in visual tracking are based on siamese feature extractors and template matching. For this category of trackers, latest research focuses on better feature embeddings and similarity measures. In this work, we focus on building holistic object representations for tracking. We propose a framework that is designed to be used on top of previous trackers without any need for further training of the siamese network. The framework leverages the idea of obtaining additional object templates during the tracking process. Since the number of stored templates is limited, our method only keeps the most diverse ones. We achieve this by providing a new diversity measure in the space of siamese features. The obtained representation contains information beyond the ground truth object location provided to the system. It is then useful for tracking itself but also for further tasks which require a visual understanding of objects. Strong empirical results on tracking benchmarks indicate that our method can improve the performance and robustness of the underlying trackers while barely reducing their speed. In addition, our method is able to match current state-of-the-art results, while using a simpler and older network architecture and running three times faster.

研究の動機と目的

• 真値のバウンディングボックスを越えた包括的なオブジェクト表現を構築することで、視覚追跡の性能を向上させること。
• 既存のシアンズ追跡器が、再トレーニングなしに推論時に動的テンプレート収集の恩恵を受けることを可能にすること。
• 特徴空間における新しい多様性測定法を用いて、ロバスト性を向上させながらも、高い追跡速度を維持すること。
• 文脈的および構造的情報を含むオブジェクト表現を豊かにすることで、視覚理解を要する下流タスクを支援すること。

提案手法

• 追跡中に、異なる空間的位置とスケールからの特徴をサンプリングすることで、追加のオブジェクトテンプレートを収集する。
• シアンズ特徴空間における新しい多様性指標を用いて、最も多様なテンプレートのみを選択することで、固定サイズのメモリを維持する。
• シアンズネットワークの埋め込み空間における特徴の相違度を定量化する距離ベースの基準を用いて多様性を測定する。
• 既存の追跡器の上にプラグインモジュールとして動作させ、シアンズ特徴抽出器のファインチューニングや再トレーニングを一切不要としない。
• 最終的な表現は、元のテンプレートと選択された多様なテンプレートを組み合わせて包括的なオブジェクトモデルを形成する。
• 計算効率が高く設計されており、下位の追跡器の速度を損なわない。

実験結果

リサーチクエスチョン

• RQ1 シアンズバックボーンの再トレーニングなしに、動的テンプレート収集が追跡性能を向上させられるか？
• RQ2 シアンズ特徴空間における多様性に基づくテンプレート選択戦略は、オブジェクト表現の向上にどの程度効果的か？
• RQ3 軽量でプラグアンドプレイなモジュールが、標準ベンチマーク上で追跡器のロバスト性と精度をどの程度向上できるか？
• RQ4 包括的な表現を用いることで、シンプルで古めのネットワークアーキテクチャがSOTA結果を達成できるか？
• RQ5 提案手法は、最先端の追跡器と比べて、速度と精度の両面でどの程度優れているか？

主な発見

• 提案フレームワークは、再トレーニングなしに複数のベンチマークデータセットで下位の追跡器の性能とロバスト性を向上させる。
• シンプルで古めのネットワークアーキテクチャを用いながらも、標準追跡ベンチマークで最先端の結果を達成する。
• フレームワークは、現在のSOTA追跡器の3倍速く動作するが、精度は同等またはそれを上回る。
• シアンズ特徴空間における多様性測定法は、構造的および文脈的変化を効果的に捉えており、オブジェクト表現を強化する。
• プラグアンドプレイ設計により、既存の追跡器とのシームレスな統合が可能となり、推論速度を保ちながら精度を向上させる。
• 実験結果から、遮蔽や運動ぼやけなどの困難な状況でも、追跡精度が顕著に向上することが示された。