[論文レビュー] Semantically-Guided Video Object Segmentation

Sergi Caelles, Yuhua Chen+2 more|arXiv (Cornell University)|Apr 6, 2017

Visual Attention and Saliency Detection参考文献 24被引用数 10

ひとこと要約

本稿では、最初のフレームからの外観モデルとインスタンスレベルのセグメンテーションから得られるセマンティック事前分布を統合することで、半教師あり動画オブジェクトセグメンテーションを向上させる、意味的ガイド付き動画オブジェクトセグメンテーション（SGV）を提案する。外観とセマンティックの手がかりを組み合わせるための条件付き分類器を用いることで、DAVISおよびYouTube-Objectsで最先端の性能を達成し、長時間の動画シーケンスにおいても高い精度を維持する。平均して1フレームあたり547 msで実行される。

ABSTRACT

This paper tackles the problem of semi-supervised video object segmentation, that is, segmenting an object in a sequence given its mask in the first frame. One of the main challenges in this scenario is the change of appearance of the objects of interest. Their semantics, on the other hand, do not vary. This paper investigates how to take advantage of such invariance via the introduction of a semantic prior that guides the appearance model. Specifically, given the segmentation mask of the first frame of a sequence, we estimate the semantics of the object of interest, and propagate that knowledge throughout the sequence to improve the results based on an appearance model. We present Semantically-Guided Video Object Segmentation (SGV), which improves results over previous state of the art on two different datasets using a variety of evaluation metrics, while running in half a second per frame.

研究の動機と目的

• 照明、隠蔽、視点の変化によって生じる外観の変化に起因する動画オブジェクトセグメンテーションの課題に対処すること。
• 外観が変化しても一貫したオブジェクトのカテゴリとインスタンスIDを保つ、セマンティックの不変性を活用すること。
• 外観ベースのモデルにセマンティック事前分布を組み込むことで、長時間の動画シーケンスにおけるセグメンテーションの精度と耐障害性を向上させること。
• 外観モデリングとインスタンスレベルのセマンティックセグメンテーションを統合し、セグメンテーション伝搬をガイドするエンドツーエンドで訓練可能なフレームワークを開発すること。

提案手法

• 事前学習済みのインスタンスセグメンテーションネットワーク（MNC）から得られるインスタンスレベルのセグメンテーション提案のうち、最も重複度が高いものを用いて、最初のフレームにおけるターゲットオブジェクトの意味的特徴を推定する。
• セマンティック事前分布（インスタンスカテゴリとID）を動画全体にわたって伝搬させ、各フレームでのセグメンテーションをガイドする。
• 外観モデルの予測とセマンティック事前分布を統合するための条件付き分類器層（学習可能なCNNモジュール）を用いる。
• 外観モデルと同時に条件付き分類器をエンドツーエンドで学習させることで、ネットワークが外観とセマンティックの手がかりの重みを適応的に学習できるようにする。
• 効率性を高めるために、外観モデルとインスタンスセグメンテーションネットワークを並列に実行し、高速なバイリタラルソルバーを用いて出力を精緻化する。
• 最初のフレームのマスクをトラッキング処理の初期化に用い、IoUに基づくインスタンスマッチングを用いてセマンティック事前分布を以降のフレームに伝搬する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルのセグメンテーションから得られるセマンティック事前分布は、顕著な外観変化にさらされた状況下でも、外観ベースの動画オブジェクトセグメンテーションの耐障害性を向上させることができるか？
• RQ2 オブジェクトカテゴリーやインスタンスIDといったセマンティックの不変性を組み込むことで、長時間の動画シーケンスにおけるセグメンテーションの精度と時間的安定性はどのように変化するか？
• RQ3 学習可能な条件付き分類器は、外観のみまたは時間的整合性のみに依存する手法よりも、外観とセマンティック情報を効果的に統合し、優れた性能を達成できるか？
• RQ4 外観のみのモデルと比較して、隠蔽、照明変化、高速移動によって引き起こされる性能低下を、セマンティック事前分布はどの程度軽減できるか？
• RQ5 光学フローまたは再帰的ネットワークに依存せず、リアルタイム（1フレームあたり0.6秒未満）で動作しながら、多様な動画シーケンスにおいても高い精度を維持できるか？

主な発見

• DAVISデータセットにおいて、SGVは平均交差率（mIoU）82.38を達成し、最も近い競合手法（74.72）を大きく上回り、8%の改善を示した。
• 本手法は長時間のシーケンスにおいても高い性能を維持しており、mIoU曲線の最低値が79.10に留まり、次に優れた手法の73.62と比較して顕著に高い水準を維持した。
• 誤検出率（FN）が著しく低減されており、セマンティック事前分布のおかげで、隠蔽や部分的可視領域のオブジェクトを効果的に回復できていることが示された。
• 平均して1フレームあたり547 ms（外観モデル120 ms、MNC 360 ms、精緻化処理187 ms）で実行され、リアルタイム推論が可能である。
• 誤差解析の結果、FP-Close（輪郭の不正確さ）は一部のベースラインよりわずかに高いが、これは顕著なFNの低減によって相殺されており、より良いオブジェクトの完成度が得られていることを示している。
• 定性的な結果から、セマンティックガイドの効果により、車両の前面、側面、背面の複雑な外観変化に対しても、SGVはオブジェクトを正しくセグメンテーションできていることが確認された。