[論文レビュー] Fast video object segmentation with Spatio-Temporal GANs

Sergi Caelles, Albert Pumarola+3 more|arXiv (Cornell University)|Mar 28, 2019

Visual Attention and Saliency Detection参考文献 54被引用数 7

ひとこと要約

FaSTGANは、トレーニング中に有限な時間窓内で空間的・時間的オブジェクトモデルを学習する、新しい空間時間的 GAN アーキテクチャを用いたリアルタイムの半教師付き動画オブジェクトセグメンテーション手法を提案する。空間的および時間的整合性を強制するために2つのクリティックを採用することで、微調整や後処理を必要とせず、32 fps の推論速度を達成し、DAVIS および YouTube-VOS ベンチマークで最先端の精度を達成した。

ABSTRACT

Learning descriptive spatio-temporal object models from data is paramount for the task of semi-supervised video object segmentation. Most existing approaches mainly rely on models that estimate the segmentation mask based on a reference mask at the first frame (aided sometimes by optical flow or the previous mask). These models, however, are prone to fail under rapid appearance changes or occlusions due to their limitations in modelling the temporal component. On the other hand, very recently, other approaches learned long-term features using a convolutional LSTM to leverage the information from all previous video frames. Even though these models achieve better temporal representations, they still have to be fine-tuned for every new video sequence. In this paper, we present an intermediate solution and devise a novel GAN architecture, FaSTGAN, to learn spatio-temporal object models over finite temporal windows. To achieve this, we concentrate all the heavy computational load to the training phase with two critics that enforce spatial and temporal mask consistency over the last K frames. Then at test time, we only use a relatively light regressor, which reduces the inference time considerably. As a result, our approach combines a high resiliency to sudden geometric and photometric object changes with efficiency at test time (no need for fine-tuning nor post-processing). We demonstrate that the accuracy of our method is on par with state-of-the-art techniques on the challenging YouTube-VOS and DAVIS datasets, while running at 32 fps, about 4x faster than the closest competitor.

研究の動機と目的

• 時間的モデリングが不十分なため、急速な外見の変化や隠蔽に失敗する既存の動画オブジェクトセグメンテーションモデルの限界を解消すること。
• 微調整や後処理を必要とせず、高い精度を維持しながらリアルタイムの推論速度を達成する手法を開発すること。
• 軽量な推論ネットワークを用いて、有限な時間窓内で頑健な空間時間的オブジェクト表現を学習すること。
• 二重のクリティックを用いてトレーニング段階で空間的および時間的整合性を統合し、テスト時に効率的かつ正確なマスク伝搬を可能にすること。

提案手法

• 本手法は、Wug ら [60] のインスパイアを受けて、参照マスクと現在のフレームを入力とするシアンプル・エンコーダ・デコーダ・レグレッサー構造を採用する。
• トレーニング段階では、最後の K フレームにわたる整合性を強制するため、2つのディスクリミネーター（空間的および時間的クリティック）を導入する。
• 空間的クリティックは、フレーム間で一貫した境界予測を保証する。一方、時間的クリティックは、時間的に一貫したマスクの進化を維持する。
• テスト段階では、軽量なレグレッサーのみを用い、クリティックを破棄することで、微調整なしに高速な推論を実現する。
• モデルは、オプティカルフローまたは追加の監視信号を必要とせず、動画データのみを用いてエンドツーエンドで学習する。
• 長期間の時間的モデリングと計算効率の両立を図るため、有限な時間窓（K フレーム）を活用する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、未学習の動画シーケンスに一般化可能な頑健な空間時間的オブジェクトモデルを、GAN アーキテクチャが学習可能か？
• RQ2 隠蔽や外見の変化にさらされた状況でも、分類精度を向上させるために、トレーニング段階で空間的および時間的整合性を効果的に強制する方法は何か？
• RQ3 二重のクリティックを用いて学習された軽量なレグレッサーは、リアルタイムの推論速度を達成しながら、最先端の精度を維持できるか？
• RQ4 空間時間的整合性を動画オブジェクトセグメンテーションに組み合わせた場合、推論速度と精度のトレードオフはどのようなものか？

主な発見

• FaSTGAN は 512×512 の動画フレームで 32 fps の推論速度を達成し、最も近い競合手法（7.7 fps）と比べて約 4 倍速い。
• DAVIS17 および YouTube-VOS データセットの両方で最先端の精度を達成し、速度最適化を施した先行の SOTA メソッドと同等またはそれを上回る性能を示した。
• RGMP と比較して、DAVIS17 では J&F で 4 ポints、YouTube-VOS では 5.7 ポイント高い性能を示したが、はるかに高速であった。
• FaSTGAN は RGMP よりも 5 倍以上速く、PReMVOS よりも 500 倍以上も高速に動作したが、DAVIS17 ではわずかに精度が低下した。
• YouTube-VOS および DAVIS シーケンスの定性的な結果から、隠蔽、外見の変化、動的な背景に対しても頑健であることが示された。
• アブレーションスタディにより、空間的および時間的整合性（LS + LT）を併用することで最良の性能が得られ、境界誤差や隠蔽後の回復失敗が減少することが確認された。