[論文レビュー] Spatiotemporal CNN for Video Object Segmentation

Kai Xu, Longyin Wen+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Neural Network Applications参考文献 49被引用数 6

ひとこと要約

本稿では、自己教師ありで事前学習された時間的整合性ブランチ（動きと外見の特徴を捉える）と、マルチスケール特徴量に粗くから細かくまで段階的に注目を向けるアテンション機構を用いた空間的セグメンテーションブランチを統合した、半教師あり動画オブジェクトセグメンテーションのための統合的でエンド・トゥ・エンドで学習可能な時空間畳み込みニューラルネットワーク（STCNN）を提案する。この手法は、DAVIS-2016で0.838 mIoU、Youtube-Objectで0.796 mIoUを達成し、最先端性能を示しており、特に高速移動や非剛体なオブジェクトに対して、光流に基づく手法やスーパーヴoxel手法を上回っている。

ABSTRACT

In this paper, we present a unified, end-to-end trainable spatiotemporal CNN model for VOS, which consists of two branches, i.e., the temporal coherence branch and the spatial segmentation branch. Specifically, the temporal coherence branch pretrained in an adversarial fashion from unlabeled video data, is designed to capture the dynamic appearance and motion cues of video sequences to guide object segmentation. The spatial segmentation branch focuses on segmenting objects accurately based on the learned appearance and motion cues. To obtain accurate segmentation results, we design a coarse-to-fine process to sequentially apply a designed attention module on multi-scale feature maps, and concatenate them to produce the final prediction. In this way, the spatial segmentation branch is enforced to gradually concentrate on object regions. These two branches are jointly fine-tuned on video segmentation sequences in an end-to-end manner. Several experiments are carried out on three challenging datasets (i.e., DAVIS-2016, DAVIS-2017 and Youtube-Object) to show that our method achieves favorable performance against the state-of-the-arts. Code is available at https://github.com/longyin880815/STCNN.

研究の動機と目的

• 光流アノテーションに依存しない、統合的でエンド・トゥ・エンドで学習可能な深層学習モデルを構築すること。
• 未ラベル動画データから動的外見および動きの特徴を学習することで、時間的整合性とセグメンテーション精度を向上させること。
• マルチスケール特徴マップ上で段階的に注目を向ける粗くから細かくまで段階的な注目機構を用いて、空間的精度を向上させること。
• DAVIS-2016、DAVIS-2017、Youtube-Objectといった困難なベンチマークで最先端性能を達成すること。
• 光流推定が失敗する高速移動や非剛体オブジェクトにおいても、その頑健性を示すこと。

提案手法

• モデルは2つのブランチから構成される：未ラベル動画データ上で敵対的学習により事前学習された時間的整合性ブランチ（動きと外見のダイナミクスを学習）。
• 空間的セグメンテーションブランチは、時間的ブランチからの手がかりを用いて正確なセグメンテーションマスクを生成する完全畳み込みネットワークである。
• 粗くから細かくまで段階的な注目機構が、マルチスケール特徴マップ上で逐次適用され、オブジェクト領域に段階的に注目し、予測を精緻化する。
• 注目モジュールは、異なるスケールでの関連する空間的領域を強調することで、特徴表現を強化するように設計されている。
• 2つのブランチは、アノテーション付き学習シーケンス上でエンド・トゥ・エンドで共同微調整され、セグメンテーション性能を最適化する。
• 学習の安定化を図るため、各畳み込み層の後にバッチ正則化とReLU活性化関数が使用されている。

実験結果

リサーチクエスチョン

• RQ1 光流アノテーションを必要としない統合的でエンド・トゥ・エンドで学習可能なCNNが、優れた動画オブジェクトセグメンテーション性能を達成できるか？
• RQ2 未ラベル動画データ上で敵対的事前学習を実施することで、セグメンテーションのガイダンスに有効な動的外見および動きの特徴を効果的に捉えられるか？
• RQ3 マルチスケール特徴量に粗くから細かくまで段階的な注目機構を適用することで、特に非剛体または高速移動オブジェクトに対してセグメンテーション精度が向上するか？
• RQ4 オクルージョンや外見の変化といった複雑なシナリオを含むベンチマークにおいて、本手法は最先端手法と比較してどのように性能を発揮するか？
• RQ5 DAVIS-2016、DAVIS-2017、Youtube-Objectといった多様なデータセットに対して、本モデルは十分に汎化可能か？

主な発見

• DAVIS-2016データセットでは、STCNNは平均交差率（mIoU）0.838を達成し、新たな最先端性能を樹立した。
• Youtube-Objectデータセットでは、0.796 mIoUを達成し、以前の最先端手法であるMRFCNN（0.784 mIoU）を0.012 mIoU上回った。
• 光流に基づく手法（OFL や MSK）は、車両やネコなどの高速移動オブジェクトにおいて不正確であるが、本モデルはその点で優れた性能を示した。
• DAVIS-2017では、平均領域類似度（J）58.7%、輪郭精度（F）64.6%を達成し、OSVOS や FAVOS などの手法を上回った。
• 定性的な結果から、粗くから細かくまで段階的な注目機構による精緻化プロセスのおかげで、ネコや馬のような非剛体オブジェクトの境界精度が向上していることが確認された。
• アブレーションスタディの結果、未ラベルデータにおける敵対的事前学習とマルチスケール注目機構が、性能向上に顕著に寄与していることが確認された。