[論文レビュー] Lucid Data Dreaming for Video Object Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Mar 28, 2017

Video Surveillance and Tracking Methods参考文献 79被引用数 24

ひとこと要約

本論文は、1つのアノテート済み最初のフレームから、現実的な未来のフレームを生成することで、動画オブジェクトセグメンテーションのためのドメイン固有のトレーニングデータを合成する「lucid data dreaming」という手法を提案する。ImageNetの事前学習を一切行わず、100フレーム以下のアノテート済みフレームのみを用いても、複数のデータセットで最先端の性能を達成しており、ドメイン特化型のデータが、大規模で多様なデータセットよりも効果的であることを示している。

ABSTRACT

Convolutional networks reach top quality in pixel-level video object segmentation but require a large amount of training data (1k~100k) to deliver such results. We propose a new training strategy which achieves state-of-the-art results across three evaluation datasets while using 20x~1000x less annotated data than competing methods. Our approach is suitable for both single and multiple object segmentation. Instead of using large training sets hoping to generalize across domains, we generate in-domain training data using the provided annotation on the first frame of each video to synthesize ("lucid dream") plausible future video frames. In-domain per-video training data allows us to train high quality appearance- and motion-based models, as well as tune the post-processing stage. This approach allows to reach competitive results even when training from only a single annotated frame, without ImageNet pre-training. Our results indicate that using a larger training set is not automatically better, and that for the video object segmentation task a smaller training set that is closer to the target domain is more effective. This changes the mindset regarding how many training samples and general "objectness" knowledge are required for the video object segmentation task.

研究の動機と目的

• 動画オブジェクトセグメンテーションにおける大規模かつ多様なトレーニングデータセットへの依存を低減すること。
• ピクセルレベルの動画セグメンテーションにおける高いアノテーションコストを軽減し、必要なラベル付きフレーム数を最小限に抑えること。
• ドメイン特化型のデータ合成が、多様なドメインからなる大規模なデータセットからの一般化を上回る可能性を検証すること。
• ImageNetの事前学習を一切行わず、1つのアノテート済みフレームのみで高精度な動画オブジェクトセグメンテーションを実現できることを可能にすること。
• データの質（ドメイン適合性）を重視することで、データ量よりも優れたパラダイムに再定式化すること。

提案手法

• 最初のフレームのマスクとオプティカルフローを用いて、現実的な未来の動画フレームを合成し、リアルなトレーニングデータを生成する。
• 外見的特徴と運動の事前知識を活用して、生成されたドメイン内データ上で畳み込みネットワークを学習させ、セグメンテーション性能を向上させる。
• モデルアーキテクチャにおいて、RGB特徴と併せて、オプティカルフローとセマンティックセグメンテーションの事前知識を補完的信号として統合する。
• 生成されたデータを用いて自動的に調整されたCRFベースの後処理を適用し、予測結果を精緻化する。
• 推論時に時間的整合性モジュールを適用し、フレーム間の一貫性を向上させる。
• RGB、フロー、セマンティック特徴を統合するマルチストリームネットワークアーキテクチャをエンドツーエンドで学習させ、耐障害性を高める。

実験結果

リサーチクエスチョン

• RQ1 現在の手法よりもはるかに少ないアノテート済みフレームで、動画オブジェクトセグメンテーションが最先端の性能を達成できるか？
• RQ2 'lucid dreaming'を用いてドメイン内トレーニングデータを生成することで、異なるドメインから得た大規模で多様なデータセットを上回る性能が得られるか？
• RQ3 ImageNetの事前学習を一切行わず、1つのアノテート済みフレームでのみ学習したモデルが、どれほど競争力のある性能を発揮できるか？
• RQ4 合成データと組み合わせた場合、運動とセマンティックの事前知識が性能にどのように寄与するか？
• RQ5 データドメインの整合性とデータ量のどちらが、セグメンテーション精度により大きな影響を与えるか？

主な発見

• 提案手法は、100フレーム以下のアノテート済みフレームのみを用いても、3つのベンチマークデータセットで最先端の性能を達成しており、先行研究と比較してデータ要件を20倍～1000倍まで削減した。
• 1つのアノテート済みフレームとImageNetの事前学習なしでも、モデルは競争力のある結果を達成しており、極めて少ないデータからの強力な一般化能力を示している。
• オプティカルフローとセマンティック事前知識を追加することで、モデルの性能が顕著に向上し、アンサンブルモデルではグローバル平均IoUが2.7ポイント向上した。
• 推論時に時間的整合性処理を適用することで、さらに性能が向上し、グローバル平均IoUが65.2から66.6に上昇した。
• 誤差解析から、視覚的に類似した複数のオブジェクトをセグメンテーションする際、ラベルの入れ替えやブレンド（bleeding）が生じる課題が明らかになった。これは、インスタンスレベルの識別が必要であることを示唆している。
• 結果から、大規模なトレーニングセットが常に優れるわけではないことが判明した。ドメイン特化型の合成データの方が、大規模で一般的なデータセットよりも優れた性能を発揮することがわかった。