[論文レビュー] Active Learning for Deep Visual Tracking

Di Yuan, Xiaojun Chang+4 more|arXiv (Cornell University)|Oct 17, 2021

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、深層視覚追跡のためのアクティブラーニングフレームワークを提案する。このフレームワークは、訓練に用いる動画シーケンスを多様かつ代表的なものに選択することで、ラベル付けコストを低減しつつ、競争力ある追跡性能を維持する。マルチフレーム連携と最近傍者識別を活用することで、サンプル効率が向上し、境界ボックス回帰にTversky損失を適用することで、限られた訓練予算下でも最先端の精度を達成する。

ABSTRACT

Convolutional neural networks (CNNs) have been successfully applied to the single target tracking task in recent years. Generally, training a deep CNN model requires numerous labeled training samples, and the number and quality of these samples directly affect the representational capability of the trained model. However, this approach is restrictive in practice, because manually labeling such a large number of training samples is time-consuming and prohibitively expensive. In this paper, we propose an active learning method for deep visual tracking, which selects and annotates the unlabeled samples to train the deep CNNs model. Under the guidance of active learning, the tracker based on the trained deep CNNs model can achieve competitive tracking performance while reducing the labeling cost. More specifically, to ensure the diversity of selected samples, we propose an active learning method based on multi-frame collaboration to select those training samples that should be and need to be annotated. Meanwhile, considering the representativeness of these selected samples, we adopt a nearest neighbor discrimination method based on the average nearest neighbor distance to screen isolated samples and low-quality samples. Therefore, the training samples subset selected based on our method requires only a given budget to maintain the diversity and representativeness of the entire sample set. Furthermore, we adopt a Tversky loss to improve the bounding box estimation of our tracker, which can ensure that the tracker achieves more accurate target states. Extensive experimental results confirm that our active learning-based tracker (ALT) achieves competitive tracking accuracy and speed compared with state-of-the-art trackers on the seven most challenging evaluation benchmarks.

研究の動機と目的

• 深層視覚追跡のための大規模な訓練データのラベル付けにかかる高コストと時間消費を解消すること。
• 固定されたラベル付け予算下で、深層CNNモデルの表現能力を向上させること。
• 時間的整合性と外れ値フィルタリングを用いて、選択された訓練サンプルの多様性と代表性を保証すること。
• Tversky損失関数を用いて境界ボックス推定の精度を向上させ、追跡のロバスト性を強化すること。
• アクティブラーニングに基づくサンプル選択が、ランダム選択や全データ訓練に比べて少ないラベル付きサンプルで競争力ある追跡性能を達成できることを示すこと。

提案手法

• 動画シーケンス内の時間的整合性を活用して、多様性を最大化するマルチフレーム連携に基づくアクティブラーニング戦略を提案する。
• 平均最近傍距離に基づく最近傍者識別法を導入し、孤立したか低品質なシーケンスを除外することで、選択されたサブセットの代表性を確保する。
• 固定予算下で、時間的整合性による多様性最適化と外れ値検出による代表性最適化を統合したサンプル選択プロセスを定式化する。
• 境界ボックス回帰ヘッドにTversky損失を統合し、誤検出と見逃しを非対称にペナルティ化することで、局所化精度を向上させる。
• アクティブに選択された動画シーケンスのサブセット上で深層CNNベースのトラッカー（ALT）を学習させることで、最小限のラベル付け作業で高い性能を達成する。

Figure 1: A visual experimental comparison of the proposed ALT tracker with some state-of-the-art trackers. Thanks to the training samples selected by active learning and the target boundary box estimation improved by Tversky loss, our ALT tracker was able to obtain more accurate tracking results.

実験結果

リサーチクエスチョン

• RQ1 マルチフレーム連携に基づくアクティブラーニングは、単一フレームまたはランダム選択に比べ、視覚追跡のための選択された訓練シーケンスの多様性を向上させることができるか？
• RQ2 平均最近傍距離に基づくフィルタリングは、低品質または孤立したシーケンスを効果的に除去し、代表性を向上させることができるか？
• RQ3 Tversky損失の統合により、境界ボックス推定および全体的な追跡精度に測定可能な向上が見られるか？
• RQ4 限られた数のアクティブに選択されたデータサブセットで学習したトラッカーは、全データセットで学習した最先端のトラッカーと同等の性能を達成できるか？
• RQ5 アクティブラーニングは、追跡性能を維持または向上させつつ、どの程度ラベル付けコストを低減できるか？

主な発見

• 提案されたアクティブラーニングベースのトラッカー（ALT）は、7つのベンチマークデータセットにおいて最高のEAOスコアを達成し、DiMP50 や ATOM といった最先端のトラッカーを上回った。
• ALTは、顕著に少ないラベル付きシーケンスで学習されているにもかかわらず、競争力ある追跡精度を達成しており、アクティブラーニング戦略の有効性を示している。
• Tversky損失の使用により境界ボックス推定が向上し、特に遮蔽や変形といった困難な状況下でも、より正確なターゲット局所化が可能になった。
• 定性的な結果から、ALTは複雑なシーケンス（例：bird1, jump, soccer）においても、SiamRPN++ や PrDiMP50 よりも優れたロバストな追跡性能を維持していることが示された。
• マルチフレーム連携と最近傍者フィルタリングの組み合わせにより、厳密な予算制約下でも、選択された訓練データセットの多様性と代表性が保たれている。

Figure 2: An example of training sample selection under different methods: random, single frame-based active learning (SAL), multi-frame cooperation-based active learning (MAL), and neighborhood validation-based re-selection (KMAL). The bold (green) box indicates these samples selected by each of th