[論文レビュー] Semantic Video Segmentation by Gated Recurrent Flow Propagation

David Nilsson, Cristian Sminchisescu|arXiv (Cornell University)|Dec 28, 2016

Advanced Neural Network Applications参考文献 31被引用数 13

ひとこと要約

本論文は、光学フローと局所的フローガンチキュアリティでゲーティングされるスパatiotemporalゲート付き再帰ユニット（STGRU）を用いて、ラベルなし動画フレームを活用し、セマンティック動画セグメンテーションのための深くエンド・トゥ・エンドで学習可能なフレームワークを提案する。この手法は、CityScapesおよびCamVidで最小限の追加計算量で分類精度と時間的整合性を向上させ、追加のアノテーションコストなしに最先端の結果を達成する。

ABSTRACT

Semantic video segmentation is challenging due to the sheer amount of data that needs to be processed and labeled in order to construct accurate models. In this paper we present a deep, end-to-end trainable methodology to video segmentation that is capable of leveraging information present in unlabeled data in order to improve semantic estimates. Our model combines a convolutional architecture and a spatio-temporal transformer recurrent layer that are able to temporally propagate labeling information by means of optical flow, adaptively gated based on its locally estimated uncertainty. The flow, the recognition and the gated temporal propagation modules can be trained jointly, end-to-end. The temporal, gated recurrent flow propagation component of our model can be plugged into any static semantic segmentation architecture and turn it into a weakly supervised video processing one. Our extensive experiments in the challenging CityScapes and Camvid datasets, and based on multiple deep architectures, indicate that the resulting model can leverage unlabeled temporal frames, next to a labeled one, in order to improve both the video segmentation accuracy and the consistency of its temporal labeling, at no additional annotation cost and with little extra computation.

研究の動機と目的

• ラベルなしフレームを活用することで、セマンティック動画セグメンテーションにおける高コストなアノテーション問題を軽減する。
• 認識、光学フロー、時間的伝搬モジュールをエンド・トゥ・エンドで同時に学習する手法を開発する。
• フローベースのワープと不確実性に配慮したゲーティングを用いて、ラベルを適応的に伝搬させることで、動画セグメンテーションの時間的整合性を向上させる。
• 既存の静的セマンティックセグメンテーションモデルに最小限のアーキテクチャ的変更で統合可能であるようにする。

提案手法

• モデルは、光学フローのワープに空間トランスフォーマー・ネットワークを組み合わせ、時間的統合にゲート付き再帰ユニットを用いるスパティオトランスフォーマー・ゲート付き再帰ユニット（STGRU）を採用する。
• 光学フローを用いて隣接フレームの特徴をワープし、動画フレーム間でのスパティオトランスフォーマル特徴伝搬を可能にする。
• ゲーティング機構は、局所的に推定された光学フローの不確実性に基づいて、ラベル伝搬を適応的に制御し、信頼性の低いフローよりもノイズを低減する。
• システム全体が微分可能であり、エンド・トゥ・エンドで学習され、セグメンテーション、フロー推定、時間的伝搬を同時に最適化する。
• STGRUモジュールは、任意の事前学習済みの静的セマンティックセグメンテーションネットワークに組み込み可能であり、それを弱教師付き動画セグメンテーションモデルに変換する。
• 密な予測のためにドロップアウト畳み込みとコンテキストモジュールを用い、推論は512×512のクロップド画像パッチ上で実行される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画フレームを有効に活用することで、追加のアノテーションなしにセマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 フローベースの特徴伝搬を用いて、動画セグメンテーションの時間的整合性をどのように向上させることができるか？
• RQ3 微分可能でエンド・トゥ・エンドで学習可能なアーキテクチャが、フロー推定、認識、時間的伝搬を同時に最適化できるか？
• RQ4 不確実性に配慮したゲーティングは、動画セグメンテーションにおけるノイズの多い光学フローに対するロバストネスをどの程度向上させるか？

主な発見

• CityScapesのテストセットでは、提案手法GRFPは平均IoU 84.6%を達成し、ベースラインDilation8（83.1%）およびFSO [24]（91.3%）を上回った。
• CamVidデータセットでは、GRFPは平均IoU 66.1%を達成し、Dilation8ベースライン（65.3%）およびFSO [24]（66.1%）を上回った。
• 3つの長時間のCityScapes動画において、時間的整合性が平均4.35ポイント向上し、セグメンテーションのフレーム間のちらつきやノイズが低減した。
• Flownet1を用いた場合、1フレームあたり追加で75 ms（合計350 ms）の推論時間しか増加せず、計算コストが非常に低いことが示された。Flownet2では、1フレームあたり335 msにまで低減した。
• 定性的な結果では、柱や歩道などの困難なオブジェクトのセグメンテーションが改善され、連続フレームにおける誤検出が減少した。
• STGRUモジュールは、Dilation10ベースラインにおける一時的なアーチファクトを効果的に抑制し、時間的安定性が向上したことを示した。