[論文レビュー] FocalClick: Towards Practical Interactive Image Segmentation

Xi Chen, Zhiyan Zhao+4 more|arXiv (Cornell University)|Apr 6, 2022

Image Processing Techniques and Applications被引用数 13

ひとこと要約

FocalClickは、既存のマスクとの互換性を保ちつつ、速度と精度の両方を向上させる、革新的で効率的なインタラクティブ画像セグメンテーションパイプラインを提案する。局所的なクロップに注目することで、粗いセグメンテーション用のTarget Cropと、精緻化用のFocus Cropを用いることで、FLOPsを顕著に削減しながらも正確な細部を維持する。本手法は、正しく分類された領域が破壊されないよう補正するProgressive Mergeを導入し、最小限の計算コストでSOTA性能を達成する。

ABSTRACT

Interactive segmentation allows users to extract target masks by making positive/negative clicks. Although explored by many previous works, there is still a gap between academic approaches and industrial needs: first, existing models are not efficient enough to work on low power devices; second, they perform poorly when used to refine preexisting masks as they could not avoid destroying the correct part. FocalClick solves both issues at once by predicting and updating the mask in localized areas. For higher efficiency, we decompose the slow prediction on the entire image into two fast inferences on small crops: a coarse segmentation on the Target Crop, and a local refinement on the Focus Crop. To make the model work with preexisting masks, we formulate a sub-task termed Interactive Mask Correction, and propose Progressive Merge as the solution. Progressive Merge exploits morphological information to decide where to preserve and where to update, enabling users to refine any preexisting mask effectively. FocalClick achieves competitive results against SOTA methods with significantly smaller FLOPs. It also shows significant superiority when making corrections on preexisting masks. Code and data will be released at github.com/XavierCHEN34/ClickSEG

研究の動機と目的

• 低パワーデバイスにおける既存のインタラクティブセグメンテーションモデルの非効率性を解消し、計算コストを低減すること。
• 既存マスクの精緻化時に、正しく分類された領域が破壊される問題を解決すること。
• 実世界の編集シナリオを評価・改善できる新たなベンチマークとサブタスク「インタラクティブマスク補正」を導入すること。
• 実用的なパイプラインを構築し、速度、正確性、産業用途への適合性のバランスを取ること。
• 全画像再計算を伴わずに、任意の既存マスクを効果的に精緻化できるようにすること。

提案手法

• FocalClickは、フル画像推論を2つの高速で局所的な推論に分解する：粗いセグメンテーションのためのTarget Cropと、ユーザーのクリックを中心とした精緻化のためのFocus Crop。
• Target Cropは、前回のマスクに基づいて選択され、粗い予測を高速化するため低解像度にリサイズされる。
• Focus Cropは、粗い予測と前回のマスクとの間で最大の差異を示す領域を中心に動的に選択され、修正が必要な領域に焦点を当てる。
• Progressive Mergeは、形態的解析を用いて、新しい予測のどの部分を保持し、どの部分を更新するかを決定し、正しく分類された領域が上書きされないよう保証する。
• モデルは、アノテーションから始めることとマスク補正の両方のシナリオを処理できるように訓練され、統一されたアーキテクチャが両モードをサポートする。
• インタラクティブマスク補正タスクの評価を目的とした、新たなベンチマークDAVIS-585が構築された。

実験結果

リサーチクエスチョン

• RQ1 局所的推論戦略は、SOTAの正確性を維持しつつ、インタラクティブセグメンテーションにおけるFLOPsを顕著に削減できるか？
• RQ2 正しく分類された領域が破壊されないよう、既存マスクを効果的に補正できるか？
• RQ3 動的クロップ選択と精緻化処理は、ユーザーのインタラクション効率と正確性にどのような影響を与えるか？
• RQ4 統一されたパイプラインは、アノテーションから始めることとマスク編集の両方のシナリオを、同等の性能で処理できるか？
• RQ5 形態的ベースの統合（Progressive Merge）は、標準的な統合手法に比べて、マスクの整合性をどれほど効果的に保っているか？

主な発見

• FocalClickは、DAVISおよびCOCO-Thingベンチマークで競争力のある性能を達成し、FLOPsを顕著に削減した（RITM や Click-CLIP などのSOTA手法と比較して最大10倍の削減）。
• インタラクティブマスク補正タスクを評価するDAVIS-585ベンチマークでは、RITMに大きく劣らない性能を示し、特に初期マスクの詳細を効果的に保持している。
• 関心のある画像パッチにのみ集中することで、推論時間を短縮し、ラップトップやエッジシステムなどの低パワーデバイスへのデプロイに適している。
• Progressive Mergeは、正しく分類された領域が上書きされないことを定性的に示しており、複数回の編集後も良好に分類された領域が保持されている。
• アブレーションスタディの結果、Target CropとFocus Cropの両方が不可欠であることが確認された。Focus Cropを削除すると、FLOPsは4.5倍に増加し、性能は30％低下した。
• クロッピング戦略はハイパーパramータの変動に強く、さまざまな比率設定において性能の変動が1％未満に収まり、安定的かつ信頼性の高い局所化が可能である。