[論文レビュー] Lucid Data Dreaming for Object Tracking

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Neural Network Applications被引用数 86

ひとこと要約

本論文は、1つのアノテート済み最初のフレームからドメイン内動画フレームを合成することで、オブジェクト追跡におけるアノテーション要件を大幅に削減する訓練戦略「Lucid Data Dreaming」を導入する。各動画の訓練のために現実的な将来のフレームを生成することで、従来手法よりも20倍～100倍少ないデータ量で3つのベンチマークで最先端の性能を達成し、ImageNet事前学習の必要性を排除した。

ABSTRACT

Convolutional networks reach top quality in pixel-level object tracking but require a large amount of training data (1k ~ 10k) to deliver such results. We propose a new training strategy which achieves state-of-the-art results across three evaluation datasets while using 20x ~ 100x less annotated data than competing methods. Instead of using large training sets hoping to generalize across domains, we generate in-domain training data using the provided annotation on the first frame of each video to synthesize ("lucid dream") plausible future video frames. In-domain per-video training data allows us to train high quality appearance- and motion-based models, as well as tune the post-processing stage. This approach allows to reach competitive results even when training from only a single annotated frame, without ImageNet pre-training. Our results indicate that using a larger training set is not automatically better, and that for the tracking task a smaller training set that is closer to the target domain is more effective. This changes the mindset regarding how many training samples and general "objectness" knowledge are required for the object tracking task.

研究の動機と目的

• オブジェクト追跡における大規模かつ多様な訓練データセットへの依存を減らすために、ドメイン固有の訓練データを生成すること。
• 1動画あたり1つのアノテート済みフレームのみを用いて追跡性能を向上させ、ImageNet事前学習の必要性を排除すること。
• より小さいがドメインに適合した訓練セットが、より大きい一般ドメインのデータセットを上回るかどうかを調査すること。
• 外見的特徴および運動ベースのモデルを最小限の人為的アノテーションデータで効果的に訓練できるデータ合成戦略を開発すること。

提案手法

• 本手法は、最初のフレームのアノテーションを条件信号として用い、各動画の妥当な将来のフレームを生成することで、ターゲットドメインに特化した合成訓練データを作成する。
• 合成フレームを用いて、追跡フレームワーク内において外見モデルと運動モデルをエンドツーエンドで訓練し、ドメイン固有の特徴学習を可能にする。
• 生成されたドメイン内データを用いて、後処理ステージの動画ごとのファインチューニングをサポートし、追跡のロバスト性を向上させる。
• 時間的整合性と視覚的妥当性を活用して現実的な将来のフレームを生成するため、条件付き動画生成モデルをデータ生成に用いる。
• 各動画ごとにスケーラブルな訓練パイプラインを設計し、最小限のアノテーションで新しい追跡シーケンスへの効率的適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのアノテート済みフレームからのドメイン内データ合成が、大規模な一般ドメインデータセットよりも優れた追跡性能を達成できるか？
• RQ2 データ量を減らしながらドメイン整合性を高めることで、追跡精度が向上するか？
• RQ3 合成されたドメイン固有のデータを用いることで、ImageNet事前学習なしに高品質な追跡が達成できるか？
• RQ4 データ合成は、追跡システムにおける外見モデルと運動モデルの学習の両方をどれほど効果的に改善できるか？

主な発見

• 提案手法は、1動画あたり1～10フレームのアノテーションのみで、3つの標準的な追跡ベンチマークで最先端の性能を達成し、従来手法と比較してデータ要件を20倍～100倍まで削減した。
• 訓練データがターゲットドメインと不一致である場合、大規模データセットで訓練されたモデルを上回る性能を示し、データスケールよりもドメイン整合性の優位性を実証した。
• ImageNet事前学習に依存せず、1つのアノテート済みフレームからのみでも競争力のある結果を達成した。
• アブレーションスタディにより、ドメイン内データ合成がドメインシフトを伴う大規模で多様なデータセットを用いる場合よりも優れた一般化性能をもたらすことが確認された。