[論文レビュー] Click Carving: Segmenting Objects in Video with Point Clicks

Suyog Dutt Jain, Kristen Grauman|arXiv (Cornell University)|Jul 5, 2016

Visual Attention and Saliency Detection被引用数 14

ひとこと要約

Click Carving は、数回の境界クリックを用いて、事前に計算された数千のオブジェクト領域候補を、画像および動きの手がかりを活用して精緻化する、革新的なインタラクティブ動画オブジェクトセグメンテーション手法である。その後、最も適切なマスクを動画全体に伝搬する。最先端の正確性を達成しつつ、人間の作業負荷を著しく低減し、1動画あたり2–4クリックで済み、従来のインタラクティブ手法と比較してアノテーション時間を50%以上短縮する。

ABSTRACT

We present a novel form of interactive video object segmentation where a few clicks by the user helps the system produce a full spatio-temporal segmentation of the object of interest. Whereas conventional interactive pipelines take the user's initialization as a starting point, we show the value in the system taking the lead even in initialization. In particular, for a given video frame, the system precomputes a ranked list of thousands of possible segmentation hypotheses (also referred to as object region proposals) using image and motion cues. Then, the user looks at the top ranked proposals, and clicks on the object boundary to carve away erroneous ones. This process iterates (typically 2-3 times), and each time the system revises the top ranked proposal set, until the user is satisfied with a resulting segmentation mask. Finally, the mask is propagated across the video to produce a spatio-temporal object tube. On three challenging datasets, we provide extensive comparisons with both existing work and simpler alternative methods. In all, the proposed Click Carving approach strikes an excellent balance of accuracy and human effort. It outperforms all similarly fast methods, and is competitive or better than those requiring 2 to 12 times the effort.

研究の動機と目的

• ユーザーがマスクを描くのではなく、最小限の点クリックに移行することで、インタラクティブ動画オブジェクトセグメンテーションにおける人間のアノテーション作業負荷を低減すること。
• ユーザーのフィードバックを受けて、システムが事前にオブジェクト領域候補を生成・精緻化することで、セグメンテーションの正確性を向上させること。
• 境界クリックが内部クリックよりも、セグメンテーションの精緻化をガイドする際に効果的であるかどうかを検証すること。
• 従来のインタラクティブセグメンテーションパイプラインと比較して、クリックベースインターフェースの効率性と正確性を評価すること。

提案手法

• システムは、各動画フレームにおいて、画像の整合性と動きの境界の手がかりを用いて、数千のオブジェクト領域候補を事前に計算する。
• ユーザーは、上位ランクの候補におけるオブジェクトの境界にクリックすることで、不適切な仮説を「削り取る」。
• 各クリックによって、ユーザーのフィードバックに基づき、候補セットが動的に再順位付けされ、最も妥当な候補に焦点が当たる。
• 最終的に選ばれたマスクは、既存の伝搬アルゴリズムを用いて動画全体に伝搬され、完全な空間的・時間的オブジェクトチューブが生成される。
• 相互作用の効率性を最適化するため、シミュレーテッドユーザーモデルを用いてクリック戦略を分析する。
• 冗長なユーザー入力を最小限に抑えつつ、セグメンテーション品質を最大化するため、1回の入力で100フレームごとに1フレームを選択するワンショットフレーム選択戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 境界クリックは、動画セグメンテーションにおけるオブジェクト候補の精緻化において、内部クリックよりも効果的であるか？
• RQ2 システム主導の仮説生成アプローチは、人間のアノテーション作業負荷を低減しつつ、セグメンテーションの正確性を維持または向上させられるか？
• RQ3 Click Carving の性能は、反復的で複数フレームにわたるアノテーション手法と比較して、正確性および時間効率の面でどう異なるか？
• RQ4 高品質なセグメンテーションを達成するための最適なクリック数と配置は何か？
• RQ5 クリックベースインターフェースは、従来のバウンディングボックスやスクリッチベース手法と比較して、スピードと正確性の両面で優れているか？

主な発見

• iVideoSeg データセットにおいて、Click Carving は平均 77.68 の Intersection over Union (IoU) を達成し、1動画あたりのユーザーによるアノテーション時間は 54.35 秒にとどまる。これは、最先端手法 [15] よりも正確性に優れつつ、アノテーション時間を半分に削減した。
• iVideoSeg データセットにおいて、Click Carving は [1] および [43] と比較して、正確性と効率性の両面で顕著な優位性を示した。
• 1回の追加クリックで、Click Carving はすべての3つのテスト動画において TouchCut [18] を上回り、ピクセル誤差を平均 230.3 から 198.0 に削減した。
• シミュレーテッドユーザースタディーの結果、境界クリックは、良い候補と悪い候補を識別する際に、内部クリックよりも顕著に効果的であることが確認された。
• 本手法は、1動画あたり平均して2–4クリックのわずかな入力で高品質なセグメンテーションを達成でき、高い効率性を示した。
• 2～12倍の人的作業を要する手法と比較して、Click Carving は競争力のある、あるいはそれ以上の結果を達成し、スピードと正確性の新たなバランスを確立した。