[論文レビュー] Learning to Segment Instances in Videos with Spatial Propagation Network

Jingchun Cheng, Sifei Liu+7 more|arXiv (Cornell University)|Sep 14, 2017

Visual Attention and Saliency Detection参考文献 28被引用数 19

ひとこと要約

本稿では、空間的伝播ネットワーク（SPN）と連結領域を考慮したフィルタ（CRAF）を用いた動画インスタンスセグメンテーションフレームワークを提案する。まず、ResNet-101バックボーンを用いて前景/背景セグメンテーションを実行し、その後最初のフレームのインスタンスマスクで微調整を行う。次に、学習されたピクセル単位の類似度を用いてSPNによりセグメンテーションスコアを伝播させ、CRAFにより空間的・時間的整合性を強制することで、DAVIS 2017で最先端の性能を達成し、グローバルメーンは0.576を記録した。

ABSTRACT

We propose a deep learning-based framework for instance-level object segmentation. Our method mainly consists of three steps. First, We train a generic model based on ResNet-101 for foreground/background segmentations. Second, based on this generic model, we fine-tune it to learn instance-level models and segment individual objects by using augmented object annotations in first frames of test videos. To distinguish different instances in the same video, we compute a pixel-level score map for each object from these instance-level models. Each score map indicates the objectness likelihood and is only computed within the foreground mask obtained in the first step. To further refine this per frame score map, we learn a spatial propagation network. This network aims to learn how to propagate a coarse segmentation mask spatially based on the pairwise similarities in each frame. In addition, we apply a filter on the refined score map that aims to recognize the best connected region using spatial and temporal consistencies in the video. Finally, we decide the instance-level object segmentation in each video by comparing score maps of different instances.

研究の動機と目的

• 非剛体運動、隠蔽、視点変化の下でも正確なインスタンスレベルの動画オブジェクトセグメンテーションを実現する挑戦に応える。
• 従来のCRF後処理に代わる学習可能な空間的伝播メカニズムを導入することで、ディープラーニングベースの動画セグメンテーションにおける境界の整合性を向上させる。
• フレーム間の不一致ラベル領域を検出・除去することで、インスタンス追跡における時間的整合性を向上させる。
• 微調整されたインスタンス固有モデルと軽量な後処理モジュールを組み合わせたスケーラブルで効率的なパイプラインを構築し、リアルタイム適用を可能にする。

提案手法

• 訓練セット上でResNet-101を用いて汎用的な前景/背景セグメンテーションモデルを学習し、その後、各テスト動画の最初のフレームのインスタンスマスクで微調整を行う。
• 各インスタンスごとに、前景マスク内でのオブジェクトネスの可能性を予測するために微調整済みモデルを適用し、インスタンスごとのスコアマップを構築する。
• 学習されたピクセル単位の類似度を用いて、線形2次元伝播モジュールを通じてスコアを伝播させる空間的伝播ネットワーク（SPN）を導入し、粗いセグメンテーションマスクを精緻化する。
• 空間的・時間的整合性を活用して、不一致なセグメンテーション領域を除去するための連結領域を考慮したフィルタ（CRAF）を適用する。
• フレーム間のインスタンススコアマップを統合し、各ピクセルを最も高いスコアを持つインスタンスに割り当てる。すべてのスコアが0.5未満の場合は背景とみなす。
• 2段階の推論パイプラインを用いる：まずインスタンスごとのスコアマップを生成し、次にSPNおよびCRAFを用いてそれを精緻化することで、精度と整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間的伝播メカニズムは、従来のCRFベースの後処理を上回り、動画インスタンスセグメンテーションにおけるオブジェクト境界の精緻化に有効であるか？
• RQ2 隠蔽やトラッキングドリフトによって生じる時間的不一致セグメンテーションを除去する観点で、連結領域を考慮したフィルタ（CRAF）はどの程度効果的か？
• RQ3 最初のフレームのインスタンスマスクで汎用セグメンテーションモデルを微調整することで、汎用モデルと比較してインスタンスレベルの精度はどの程度向上するか？
• RQ4 非剛体運動や隠蔽を伴う複雑な動画シーケンスにおいて、SPNとCRAFの相対的な貢献度はどの程度か？
• RQ5 提案手法は、低遅延な推論オーバーヘッドを実現し、リアルタイムデプロイメントに適しているか？

主な発見

• 提案手法は、DAVIS 2017の検証セットにおいて、グローバルメーンの交差率（IoU）が0.576に達し、個別動画モデルを2.1%上回った。
• 空間的伝播ネットワーク（SPN）単体でも、後処理なしのベースラインと比較して、グローバルメーンが5.6%向上した。
• 連結領域を考慮したフィルタ（CRAF）は、グローバルメーンで3.9%の向上を示し、不一致ラベルの除去における有効性を裏付けた。
• DAVIS 2017チャレンジのテストセットに適用した結果、CRAFによりJ-Meanは51.6%から53.6%、F-Meanは57.9%から60.2%に向上した。
• DAVIS 2017チャレンジでは10チーム中6位となり、グローバルメーン0.569、F-Mean 0.602を達成した。
• 実行時間解析の結果、全パイプラインはTitan X GPU上で1オブジェクト1フレームあたり0.78秒で実行可能であり、SPNとCRAFはそれぞれ0.08秒および0.1秒のわずかなオーバーヘッドを追加した。