[論文レビュー] Mask Propagation Network for Video Object Segmentation

Jia Sun, Dongdong Yu+2 more|arXiv (Cornell University)|Oct 24, 2018

Visual Attention and Saliency Detection参考文献 10被引用数 8

ひとこと要約

本論文は、光学的流れを用いたマスクワープと変更されたDeepLab v3+バックボーンを活用してフレーム間でインスタンスマスクを伝搬する、マスク伝搬ネットワーク（MPN）を提案する。領域の注目領域（RoI）に焦点を当て、欠落したインスタンスの回復に最適化されたOSVOSの変種と組み合わせることで、DAVIS 2018で最先端の性能を達成し、57.7%のリージョン・ジャッカードと62.4%のバウンダリーF-measureを達成した。

ABSTRACT

In this work, we propose a mask propagation network to treat the video segmentation problem as a concept of the guided instance segmentation. Similar to most MaskTrack based video segmentation methods, our method takes the mask probability map of previous frame and the appearance of current frame as inputs, and predicts the mask probability map for the current frame. Specifically, we adopt the Xception backbone based DeepLab v3+ model as the probability map predictor in our prediction pipeline. Besides, instead of the full image and the original mask probability, our network takes the region of interest of the instance, and the new mask probability which warped by the optical flow between the previous and current frames as the inputs. We also ensemble the modified One-Shot Video Segmentation Network to make the final predictions in order to retrieve and segment the missing instance.

研究の動機と目的

• 既存の動的オブジェクトセグメンテーション手法がオクルージョン、動きの変化、マルチインスタンス追跡に対処する際の限界を是正すること。
• 光学的流れとガイド付きマスク伝搬を活用することで、時間的整合性とセグメンテーション精度を向上させること。
• 変更されたワンショット動的セグメンテーション（OSVOS）ネットワークを用いて、伝搬中に失われたインスタンスを回復すること。
• DenseCRFによる後処理を通じて境界の正確性を向上させること。

提案手法

• XceptionベースのDeepLab v3+モデルを用い、直前のフレームのマスク確率マップと現在のフレームの外観に基づいて、現在のフレームのマスクを予測する。
• FlowNet 2.0から得られる光学的流れを用いて、直前のフレームのマスクを現在のフレームに合わせてワープする。
• フル解像度の入力を用いるのではなく、各インスタンスの周囲の注目領域（RoI）を切り出すことで、背景ノイズを低減し、効率を向上させる。
• モデルは2段階で訓練される：まずMSRA10KおよびDAVIS 2017を用いたオフライン事前学習を行い、その後、最初のフレームのマスクを用いて各動画インスタンスごとにオンライン微調整を行う。
• スキップ接続を備えた変更されたOSVOSネットワークを用いて、伝搬中に失われたインスタンスを検出・セグメンテーションする。
• 最終的な予測は、DenseCRFを用いて精錬され、境界の正確性と局所的詳細が向上する。

実験結果

リサーチクエスチョン

• RQ1 光学的流れを用いたガイド付きマスク伝搬は、動的オブジェクトセグメンテーションにおける時間的整合性を向上させることができるか？
• RQ2 インスタンス固有の注目領域に焦点を当てることで、セグメンテーション精度が向上し、背景干渉が低減するか？
• RQ3 マスク伝搬とワンショット学習を組み合わせたハイブリッドアプローチは、オクルージョンや動きの変化によって失われたインスタンスを回復できるか？
• RQ4 DenseCRFによる後処理は、動的セグメンテーションにおける境界の正確性をどの程度向上させるか？

主な発見

• 提案手法は、DAVIS 2018のテスト・チャレンジセットで57.7%のリージョン・ジャッカードと62.4%のバウンダリーF-measureを達成した。
• ジャッカードとF-measureの両指標において、TeamILC_RIL や Lixx といった強力なベースラインを上回った。
• RoIクロッピングの使用により、モデルの効率が著しく向上し、背景関連の誤りも低減された。
• 変更されたOSVOSネットワークの統合により、平均して27.2%のインスタンスが欠落から回復されたことが、減衰度数の指標から示された。
• DenseCRFの精錬により、特に複雑または曖昧な領域における境界の詳細が向上した。