[論文レビュー] STFCN: Spatio-Temporal FCN for Semantic Video Segmentation

Mohsen Fayyaz, Mohammad Hajizadeh Saffar+4 more|arXiv (Cornell University)|Aug 21, 2016

Advanced Neural Network Applications参考文献 52被引用数 47

ひとこと要約

本稿では、CNNからの空間的特徴とLSTMベースのモジュールによる時間的ダイナミクスを統合することで、意味的動画セグメンテーションを向上させる、空間的・時間的完全畳み込みネットワーク（STFCN）を提案する。この手法は、空間的・時間的特徴のエンドツーエンド学習を可能にし、ベースラインのFCNや拡張畳み込みネットワークを上回る性能を示し、画素単位のセグメンテーション精度が向上した。CamVidおよびNYUDv2で最先端の性能を達成した。

ABSTRACT

This paper presents a novel method to involve both spatial and temporal features for semantic video segmentation. Current work on convolutional neural networks(CNNs) has shown that CNNs provide advanced spatial features supporting a very good performance of solutions for both image and video analysis, especially for the semantic segmentation task. We investigate how involving temporal features also has a good effect on segmenting video data. We propose a module based on a long short-term memory (LSTM) architecture of a recurrent neural network for interpreting the temporal characteristics of video frames over time. Our system takes as input frames of a video and produces a correspondingly-sized output; for segmenting the video our method combines the use of three components: First, the regional spatial features of frames are extracted using a CNN; then, using LSTM the temporal features are added; finally, by deconvolving the spatio-temporal features we produce pixel-wise predictions. Our key insight is to build spatio-temporal convolutional networks (spatio-temporal CNNs) that have an end-to-end architecture for semantic video segmentation. We adapted fully some known convolutional network architectures (such as FCN-AlexNet and FCN-VGG16), and dilated convolution into our spatio-temporal CNNs. Our spatio-temporal CNNs achieve state-of-the-art semantic segmentation, as demonstrated for the Camvid and NYUDv2 datasets.

研究の動機と目的

• 動画シーケンスにおける空間的および時間的特徴を統合的にモデル化することで、意味的動画セグメンテーションを向上させること。
• 従来のCNNベースの手法が動画フレームを独立した個体として扱い、時間的文脈を無視するという限界を是正すること。
• 既存の完全畳み込みネットワーク（FCN）に容易に統合可能なモジュラーでエンドツーエンド学習可能なアーキテクチャを開発すること。
• 提案された空間的・時間的モジュールの有効性を、屋外（CamVid）および屋内（NYUDv2）の両方のシーンを含む多様なデータセットで評価すること。
• LSTMによる時間的モデリングの導入が、主なアーキテクチャの見直しが不要なままにセグメンテーション精度を向上させることを実証すること。

提案手法

• 各動画フレームからの空間的特徴を抽出するために、事前学習済みのCNN（例：FCN-AlexNetまたはFCN-VGG16）を用いる。
• 空間的特徴抽出の後に、連続するフレーム間の時間的依存関係をモデル化するためのLSTMベースのモジュールを挿入する。
• 空間的・時間的特徴は、デコンボリューション層を用いて元の解像度にアップサンプリングされ、画素単位のセグメンテーション予測が得られる。
• 空間的および時間的整合性を保持する完全畳み込みで微分可能なアーキテクチャを用いて、エンドツーエンドで学習する。
• 高解像度の特徴マップを維持し、マルチスケールの文脈を捉えるために、バックボーンに拡張畳み込みを組み込む。
• 空間的・時間的モジュールはプラグイン型に設計されており、既存のFCNフレームワークへの最小限の変更で統合可能である。

実験結果

リサーチクエスチョン

• RQ1 LSTMモジュールによる時間的モデリングは、静的フレーム解析を上回る意味的セグメンテーション性能を向上させることができるか？
• RQ2 空間的・時間的特徴の統合は、標準ベンチマークにおける画素単位のセグメンテーション精度にどのように影響するか？
• RQ3 提案されたSTFCNモジュールは、FCN-AlexNetやFCN-VGG16などの異なるバックボーンアーキテクチャへどの程度一般化可能か？
• RQ4 時間的文脈の統合により、同じ空間的特徴を示すが異なる動きや行動を示す物体の分類の曖昧さは軽減されるか？
• RQ5 屋外および屋内データセットの両方において、STFCNの性能は、拡張FCNや標準のFCN-32sと比較してどの程度優れているか？

主な発見

• CamVidデータセットでは、STFCNが最先端の性能を達成し、ベースラインのFCNおよび拡張FCNモデルを顕著に上回った。
• NYUDv2では、STFCN-32s RGBモデルが60.9%の画素精度、42.3%の平均精度、29.5%の平均交差率（mean IU）を達成し、ベースラインのFCN-32s RGB（60.0%、42.2%、29.2%）を上回った。
• STFCN-32s RGBDモデルは62.1%の画素精度、42.6%の平均精度、30.9%の平均交差率を達成し、FCN-32s RGBDベースライン（61.5%、42.4%、30.5%）を上回った。
• 両データセットにおいて一貫した性能向上が確認され、時間的モデリングがセグメンテーションの曖昧さを低減する有効性が裏付けられた。
• 結果から、LSTMによる時間的モデリングが、特に類似した空間パターンを示す複雑なシーンにおいて特徴表現を強化することが示された。
• モジュラー設計により、既存のFCNフレームワークへのシームレスな統合が可能となり、アーキテクチャの大規模な見直しが不要なままに性能向上が達成された。