[論文レビュー] LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes

Hongkai Yu, Youjie Zhou+7 more|arXiv (Cornell University)|Jul 11, 2015

Visual Attention and Saliency Detection参考文献 21被引用数 15

ひとこと要約

本稿では、前景オブジェクトを部分的にカバーするのみの「緩い境界ボックス」を効果的に処理できる、新しいインタラクティブ画像セグメンテーション手法LooseCutを提案する。この手法は、グローバル類似性制約とラベル一貫性項を備えたマルコフ確率場（MRF）モデルを導入することで、初期の外見モデルが不正確であっても前景・背景の分離とラベリング精度を向上させる。複数のベンチマークで最先端のアルゴリズムを上回り、無教師動画セグメンテーションおよびサリエンシー検出の性能向上にも寄与する。

ABSTRACT

One popular approach to interactively segment the foreground object of interest from an image is to annotate a bounding box that covers the foreground object. Then, a binary labeling is performed to achieve a refined segmentation. One major issue of the existing algorithms for such interactive image segmentation is their preference of an input bounding box that tightly encloses the foreground object. This increases the annotation burden, and prevents these algorithms from utilizing automatically detected bounding boxes. In this paper, we develop a new LooseCut algorithm that can handle cases where the input bounding box only loosely covers the foreground object. We propose a new Markov Random Fields (MRF) model for segmentation with loosely bounded boxes, including a global similarity constraint to better distinguish the foreground and background, and an additional energy term to encourage consistent labeling of similar-appearance pixels. This MRF model is then solved by an iterated max-flow algorithm. In the experiments, we evaluate LooseCut in three publicly-available image datasets, and compare its performance against several state-of-the-art interactive image segmentation algorithms. We also show that LooseCut can be used for enhancing the performance of unsupervised video segmentation and image saliency detection.

研究の動機と目的

• タイトな境界ボックスを必要とする従来のインタラクティブセグメンテーション手法の限界を解消し、ユーザーのアノテーション負荷を軽減すること。
• 入力の境界ボックスが前景オブジェクトを緩くカバーする状況、特に自動生成された提案領域を含む場合でも、頑健なセグメンテーションを可能にすること。
• 境界ボックス内に背景が混入するなどして初期外見モデルが不正確な場合でも、その影響を軽減し、セグメンテーション精度を向上させること。
• 提案手法を用いて、無教師動画セグメンテーションや画像サリエンシー検出といった後続タスクの性能を向上させること。
• 緩い境界ボックスに対して頑健性を高めつつも、効率を維持する新しいMRFベースの最適化フレームワークの開発

提案手法

• 画像グリッド上のMRFを用いて前景／背景セグメンテーションを二値ラベリング問題として定式化し、外見モデリングにガウス・ミックス・モデル（GMM）を用いる。
• 前景と背景の外見差を明示的に強調するグローバル類似性制約を導入し、ノイズの多い初期モデルでも分離性能を向上させる。
• 隣接しているだけでなく非隣接の類似外見ピクセルに対しても同じラベルを割り当てるよう促すラベル一貫性エネルギー項を追加し、曖昧領域に対する頑健性を向上させる。
• 両制約を統合したMRFエネルギー関数を構築し、反復的マックスフロー法を用いて効率的な最適化を実現する。
• 得られたセグメンテーションを用いて、GrabCutと同様に外見モデルを反復的に精緻化するが、収束性と頑健性を向上させた。
• 本手法を2つの後続応用に活用する：時間的整合性を活用した無教師動画セグメンテーション、および複数のセグメンテーションの確率的統合によるサリエンシー検出。

実験結果

リサーチクエスチョン

• RQ1 入力境界ボックスが前景オブジェクトを緩くカバーする状況でも、セグメンテーション手法が高精度を維持できるか？
• RQ2 グローバル類似性制約を組み込むことで、緩い境界ボックス条件下でのセグメンテーション性能がどの程度向上するか？
• RQ3 類似外見ピクセル間のラベル一貫性を強制することで、セグメンテーションの頑健性がどの程度向上するか？
• RQ4 LooseCutは、緩い境界ボックスを前提とした標準ベンチマークにおいて、最先端のインタラクティブセグメンテーションアルゴリズムを上回るか？
• RQ5 LooseCutは、無教師動画セグメンテーションおよび画像サリエンシー検出タスクにおいて、効果的に再利用可能か？

主な発見

• WeizmanデータセットではF-measureが0.826、iCosegデータセットでは0.841、PASCALデータセットでは0.808を達成し、GrabCut、OneCut、pPBCを上回った。
• サリエンスオブジェクトデータセットでは、精度0.84、再現率0.78、F-measure0.78を達成し、GrabCut、OneCut、pPBCを上回り、FTと同等の性能を発揮した（境界ボックスガイドランスを用いて）。
• アブレーションスタディの結果、グローバル類似性制約を除去するとWeizmanでF-measureが0.788に低下し、ラベル一貫性項を除去すると0.822に低下した。両者の貢献が確認された。
• グローバル類似性制約の除去によるF-measure低下がより顕著であったことから、この制約が性能向上により大きな寄与をしていることが示された。
• 1024×1024の画像に対して平均66.52秒で実行可能であり、OneCut（77.80秒）やpPBC（305.60秒）と比較して妥当な効率性を示した。
• 前景と背景の外見が極めて類似している場合に失敗するケースが発生し、この手法は外見差に依存してセグメンテーションをガイドするためである。