[論文レビュー] Interactive Video Object Segmentation in the Wild

Arnaud Benard, Michael Gygli|arXiv (Cornell University)|Dec 31, 2017

Visual Attention and Saliency Detection参考文献 14被引用数 34

ひとこと要約

本論文は、最小限のユーザークリックで迅速にオブジェクトマスクを精緻化するディーブラーニングモデルを用いた、インタラクティブな動画オブジェクトセグメンテーションの実用的システムを提示する。クリックによるフィードバックを繰り返し用いて初期セグメンテーションを改善することで、GrabCutデータセット上で最先端の性能を達成（平均3.8クリックで90% IoU）、困難なシーケンスでさえも高速かつ正確な動画セグメンテーションを可能にする。

ABSTRACT

In this paper we present our system for human-in-the-loop video object segmentation. The backbone of our system is a method for one-shot video object segmentation. While fast, this method requires an accurate pixel-level segmentation of one (or several) frames as input. As manually annotating such a segmentation is impractical, we propose a deep interactive image segmentation method, that can accurately segment objects with only a handful of clicks. On the GrabCut dataset, our method obtains 90% IOU with just 3.8 clicks on average, setting the new state of the art. Furthermore, as our method iteratively refines an initial segmentation, it can effectively correct frames where the video object segmentation fails, thus allowing users to quickly obtain high quality results even on challenging sequences. Finally, we investigate usage patterns and give insights in how many steps users take to annotate frames, what kind of corrections they provide, etc., thus giving important insights for further improving interactive video segmentation.

研究の動機と目的

• 時間のかかるピクセルレベルのアノテーションに依存しないようにすることで、インタラクティブな動画オブジェクトセグメンテーションを実世界用途に実用化すること。
• 動きぼけ、隠蔽、または不良な構図を伴う複雑なシーンで失敗する完全自動の動画セグメンテーション手法の限界を解消すること。
• ユーザーのクリックを用いて初期マスクを段階的に精緻化する効率的なインタラクティブ画像セグメンテーション手法を開発し、動画セグメンテーションのための高速かつ正確な初期化を可能にすること。
• 実世界のユーザー相互作用パターンを分析し、将来のインタラクティブセグメンテーションツールの設計と使いやすさの向上に役立てる情報の提供。
• 下流の動画セグメンテーションパイプラインにおいて、完璧なグランドトゥースマスクの代わりに近似マスク（インタラクティブセグメンテーションから得たもの）を用いる影響を評価すること。

提案手法

• RGB画像、ユーザーのクリック（ガウスマップとして符号化されたもの）、および現在のセグメンテーションマスク（追加のバイナリチャンネルとして）を入力とする深層畳み込みニューラルネットワークを提案。
• クリック位置を中心としたガウスカーネルを用いてユーザーのクリックを符号化し、滑らかで局所的な影響を実現。これにより、ユークリッド距離マップよりも高い局所化精度が得られる。
• シミュレートされたユーザー相互作用を用いてモデルを学習。前景クリックはグランドトゥースオブジェクト境界の周辺から、背景クリックは初期予測の誤差領域からサンプリング。
• インタラクティブセグメンテーションモデルを二段階の動画セグメンテーションパイプラインに統合：まず、最初のフレームをわずかなクリックでインタラクティブにセグメンテーション；次に、マスクをOSVOSを用いて他のフレームに伝搬。
• ユーザーが1〜2クリックで個々のフレームを修正できるようにすることで、OSVOSの予測誤りを是正する手法を拡張。これにより、既存のマスクを精緻化する能力を活用。
• 実世界での多様なユーザー入力パターンを想定し、モデルの耐障害性を向上させるために、シミュレートされたクリックとストロークの両方を用いて学習。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングベースのインタラクティブセグメンテーション手法は、高いパフォーマンスを維持したまま、正確なオブジェクトセグメンテーションに必要なクリック数を顕著に削減できるか？
• RQ2 OSVOSのような下流の動画オブジェクトセグメンテーションモデルにおいて、完璧なピクセル正確なアノテーションの代わりに、クリックベースの近似マスクを用いることで性能にどのような影響が生じるか？
• RQ3 実世界のインタラクティブセグメンテーションにおける主なユーザー相互作用パターンは何か？ それらはシステム設計と使いやすさにどのように影響を与えるか？
• RQ4 初期マスクの繰り返し精緻化は、動きぼけや隠蔽を伴う困難な動画シーケンスにおいて、どの程度精度を向上させられるか？
• RQ5 ユーザーの相互作用パターンとセグメンテーションの難易度を予測することで、ユーザーがより適したシーケンスを選択するのを支援したり、システムのフィードバックを改善できるか？

主な発見

• 提案手法のインタラクティブセグメンテーションは、GrabCutデータセットで平均3.8クリックで90% IoUを達成し、新たな最先端性能を樹立。
• 1クリックでのみ、マスクIoUが13.4%向上し、iFCN や GrabCut といったベースライン手法がわずかまたは逆に性能が低下するのと比べて顕著に優れている。
• インタラクティブ手法で生成されたマスクをOSVOSの入力として用いる場合、完璧なグランドトゥースマスクを用いた場合と比較して、IoUにわずかに-3.2%の低下にとどまる。
• ユーザーは平均して最初のフレームで4回の精緻化イテレーション、以降のフレームでも4回を実施しており、初期マスクの高精度が強く求められていることが示唆される。
• 15%のユーザーしか追加のフレーム精緻化を行わず、初期セグメンテーションの品質がユーザー満足度に極めて重要であることがわかる。
• OSVOSの性能と連続フレーム間マスクの平均IoUの間に強い相関が存在し、高い動き量や大きな外観変化はセグメンテーション品質を低下させることが示された。