[論文レビュー] ScribbleSeg: Scribble-based Interactive Image Segmentation

Xi Chen, Yau Shing Jonathan Cheung+2 more|arXiv (Cornell University)|Mar 20, 2023

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

この論文は、トレーニング用の多様なスクリッチシミュレーションと決定論的な評価プロトコルを活用することで、従来のクリックベース手法を凌駆する、スクリッチベースのインタラクティブ画像セグメンテーションのための新規フレームワーク、ScribbleSegを紹介する。本研究では、スクリッチの手がかりをより効果的に活用するための2つの主要モジュール—プロトタイプ適応モジュール（PAM）と是正精緻化モジュール（CRM）—を提案し、ベンチマークデータセットで最先端の性能を達成するとともに、インタラクション回数を著しく削減した。

ABSTRACT

Interactive segmentation enables users to extract masks by providing simple annotations to indicate the target, such as boxes, clicks, or scribbles. Among these interaction formats, scribbles are the most flexible as they can be of arbitrary shapes and sizes. This enables scribbles to provide more indications of the target object. However, previous works mainly focus on click-based configuration, and the scribble-based setting is rarely explored. In this work, we attempt to formulate a standard protocol for scribble-based interactive segmentation. Basically, we design diversified strategies to simulate scribbles for training, propose a deterministic scribble generator for evaluation, and construct a challenging benchmark. Besides, we build a strong framework ScribbleSeg, consisting of a Prototype Adaption Module(PAM) and a Corrective Refine Module (CRM), for the task. Extensive experiments show that ScribbleSeg performs notably better than previous click-based methods. We hope this could serve as a more powerful and general solution for interactive segmentation. Our code will be made available.

研究の動機と目的

• スクリッチベースのインタラクティブ画像セグメンテーションのための標準化されたトレーニングおよび評価プロトコルを確立すること。これは、クリックベース手法と比較してまだ十分に検討されていない分野である。
• 既存のスクリッチベースアプローチにおける一貫性の欠如したベンチマーク、多様なトレーニングデータのシミュレーション、公平な評価指標の欠如を是正すること。
• スクリッチがクリックよりも豊富な情報を含むことを踏まえ、より豊富な情報を利用できるように、強固で一般化可能なモデルを開発すること。
• スクリッチというインタラクションフォーマットが、高精度なセグメンテーションを達成するために必要なインタラクション回数を顕著に削減できることを示すこと。

提案手法

• トレーニング用に多様で現実的であるスクリッチを生成する複数のメタシミュレータを設計し、予測誤差の反復的精緻化を含む。
• 評価用に決定論的なスクリッチジェネレータを提案し、正例および負例のスクリッチを、正解と予測の最大差分領域に生成する。
• ユーザーが提供するスクリッチに基づいて、セグメンテーションモデルのプロジェクションカーネルを更新するプロトタイプ適応モジュール（PAM）を導入し、外観および空間的ヒントをよりよく捉える。
• モデルの予測から誤差領域を推定し、マスクの精緻化を図る是正精緻化モジュール（CRM）を開発する。
• 画像およびスクリッチマスクを入力として組み合わせることで、クリックベース手法のベーシックなベースラインを適応し、特徴表現を強化する。
• バックボーンモデルにSegFormer-B3を用い、ADE20K、Berkeley、SBD、DAVISデータセットで標準化された指標（例：IoU 85/90のためのインタラクション回数NoI）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 スクリッチベースのインタラクティブセグメンテーションモデルのトレーニングに適した、多様かつ現実的なデータシミュレーション戦略をどのように設計できるか？
• RQ2 特にクリックベースのベースラインと比較する際、スクリッチベース手法を公平かつ一貫して評価するためのプロトコルとは何か？
• RQ3 クリックが提供する情報以上の、スクリッチに内蔵された豊富な空間的および外観的情報を、どのように効果的に活用できるか？
• RQ4 PAMやCRMのような専用モジュールが、スクリッチベースセグメンテーションの性能向上にどの程度寄与するか？
• RQ5 スクリッチベース手法は、インタラクション効率および精度の面で、最先端のクリックベース手法を上回ることができるか？

主な発見

• DAVISデータセットにおいて、ScribbleSegはIoU 90のためのNoIが1.35を達成し、最良のクリックベース手法（FocalClick-B3-S2）のNoI 1.92を上回った。
• ADE20Kベンチマークにおいて、ScribbleSeg-B3は複雑なシーンで8つのスクリッチで94.9%のIoUを達成し、多様なカテゴリにわたる優れた一般化性能を示した。
• PAMおよびCRMを備えた完全なScribbleSegモデルは、ベースライン比で25%のインタラクション回数（NoI）を削減した。これは、提案されたモジュールの有効性を示している。
• CRMモジュールは、特に細部の精緻化において顕著な性能向上をもたらした。アブレーションスタディでは、前の段階からの特徴を分離することで、さらに精度が向上した。
• 決定論的な評価プロトコルにより、クリックベース手法との公平な比較が可能となり、1つのスクリッチが複数のクリックよりも優れた結果をもたらすことが明らかになった。
• ScribbleSeg-B3はDAVISでIoU 90のためのNoIが3.99を達成したのに対し、最良のクリックベース手法は4.90であった。これは、スクリッチインタラクションフォーマットの優位性を確認するものである。