[論文レビュー] FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models

Thiago V. Spina, Alexandre X. Falcão|arXiv (Cornell University)|Jun 10, 2016

Visual Attention and Saliency Detection参考文献 48被引用数 5

ひとこと要約

FOMTrace は、空間的・時間的スーパーピクセル・グラフとファジィオブジェクトモデル（FOM）を組み合わせることで、遮蔽や背景色の類似性がある高速移動・変形するオブジェクトの正確でユーザー誘導型のセグメンテーションを実現するインタラクティブな動画セグメンテーション手法である。FOMはピクセル・グラフ上の境界の明確化を制約し、時間軸に沿ってラベルを伝搬することで反復的にセグメンテーションを精緻化し、最小限のユーザー操作で最先端の性能を達成する。

ABSTRACT

Common users have changed from mere consumers to active producers of multimedia data content. Video editing plays an important role in this scenario, calling for simple segmentation tools that can handle fast-moving and deformable video objects with possible occlusions, color similarities with the background, among other challenges. We present an interactive video segmentation method, named FOMTrace, which addresses the problem in an effective and efficient way. From a user-provided object mask in a first frame, the method performs semi-automatic video segmentation on a spatiotemporal superpixel-graph, and then estimates a Fuzzy Object Model (FOM), which refines segmentation of the second frame by constraining delineation on a pixel-graph within a region where the object's boundary is expected to be. The user can correct/accept the refined object mask in the second frame, which is then similarly used to improve the spatiotemporal video segmentation of the remaining frames. Both steps are repeated alternately, within interactive response times, until the segmentation refinement of the final frame is accepted by the user. Extensive experiments demonstrate FOMTrace's ability for tracing objects in comparison with state-of-the-art approaches for interactive video segmentation, supervised, and unsupervised object tracking.

研究の動機と目的

• 高速移動・変形するオブジェクトに対して、遮蔽や背景色との類似性がある状況でも正確で効率的な動画セグメンテーションを実現すること。
• ユーザーのセグメンテーション精度に対する制御を維持しつつ、ユーザーの作業時間を最小限に抑えること。
• フレーム単位で境界予測を精緻化するファジィオブジェクトモデルを統合することで、空間的・時間的セグメンテーションを向上させること。
• ユーザーの補正と自動伝搬のフィードバックループを用いて、反復的・フレーム単位での精緻化を可能とすること。

提案手法

• FOMTrace は入力動画から空間的・時間的スーパーピクセル・グラフを構築し、効率的な空間的・時間的セグメンテーション伝搬を可能にする。
• 最初のフレームでユーザーが提供するマスクを用いて、スーパーピクセル・グラフ上の画像フォレストトランスフォーム（IFT-SC）によりラベルを後続フレームに伝搬する。
• 予測ラベルと前フレームの最終ラベルから、オブジェクト境界の不確実性を表現するファジィオブジェクトモデル（FOM）を推定する。
• FOM を用いて、現在のフレームのピクセル・グラフ上で、予測ラベルと伝搬ラベルの重み付き組み合わせによりセグメンテーションの精緻化を制約する。
• ユーザーのフィードバックは、修正またはマスクの受容を許容することで統合され、それが次のフレームのセグメンテーションの入力となる。
• このプロセスはフレーム単位で繰り返され、各ステップで自動的な再伝搬が行われ、動きや変形に対応する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして高速移動やオブジェクトの変形に対しても耐性があり、かつユーザー作業を最小限に抑えるインタラクティブな動画セグメンテーションを実現できるか？
• RQ2 不確実性下での境界明確化において、ファジィオブジェクトモデルがどの程度性能を向上させられるか？
• RQ3 FOM とユーザーのフィードバックを用いた反復的精緻化は、最先端のインタラクティブおよびトラッキングベースのセグメンテーション手法を上回る性能を発揮できるか？
• RQ4 空間的・時間的スーパーピクセル・グラフと FOM の統合は、セグメンテーションの正確性と効率性をどのように向上させるか？

主な発見

• FOMTrace は、最先端のインタラクティブ動画セグメンテーション、教師あり・教師なしのトラッキング手法と比較しても競争力のある性能を達成している。
• FOM を用いることで、前景と背景の色が類似する領域におけるセグメンテーション誤りが効果的に低減され、境界探索の制約がなされている。
• ユーザーの補正が効率的に前方に伝搬され、フレーム間の一貫性が保たれつつ、反復的な精緻化が可能になっている。
• 適応的しきい値を用いた重み付き FOM（OWt）の使用により、境界が弱い領域でのセグメンテーションが向上し、漏れが減少している。
• 実験では、繰り返しの自動的伝搬と精緻化が行われても、FOMTrace はインタラクティブな応答時間を維持している。
• 本手法は柔軟かつ拡張可能であり、時間的スーパーピクセルや階層的スーパーボクセルのヒントとの統合の可能性を有している。