[論文レビュー] PVPUFormer: Probabilistic Visual Prompt Unified Transformer for Interactive Image Segmentation

Xu Zhang, Kailun Yang+4 more|arXiv (Cornell University)|Jun 11, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本稿では、ガウス分布マッピングを用いてクリック、ボックス、スケッチを1つの密な1次元プロンプト表現に統合するVisual Prompt Unified Transformer（VPUFormer）を提案する。これにより、Dual-cross Merging AttentionとPrompt-to-Pixel Contrastive Loss（P²CL）を介して画像特徴との深い相互作用が可能となり、7つのデータセットで最先端の性能を達成。マルチプロンプト入力時、85%/90% IoUに到達するための平均的相互作用回数は1.10/1.59にまで低減された。

ABSTRACT

Integration of diverse visual prompts like clicks, scribbles, and boxes in interactive image segmentation significantly facilitates users' interaction as well as improves interaction efficiency. However, existing studies primarily encode the position or pixel regions of prompts without considering the contextual areas around them, resulting in insufficient prompt feedback, which is not conducive to performance acceleration. To tackle this problem, this paper proposes a simple yet effective Probabilistic Visual Prompt Unified Transformer (PVPUFormer) for interactive image segmentation, which allows users to flexibly input diverse visual prompts with the probabilistic prompt encoding and feature post-processing to excavate sufficient and robust prompt features for performance boosting. Specifically, we first propose a Probabilistic Prompt-unified Encoder (PPuE) to generate a unified one-dimensional vector by exploring both prompt and non-prompt contextual information, offering richer feedback cues to accelerate performance improvement. On this basis, we further present a Prompt-to-Pixel Contrastive (P$^2$C) loss to accurately align both prompt and pixel features, bridging the representation gap between them to offer consistent feature representations for mask prediction. Moreover, our approach designs a Dual-cross Merging Attention (DMA) module to implement bidirectional feature interaction between image and prompt features, generating notable features for performance improvement. A comprehensive variety of experiments on several challenging datasets demonstrates that the proposed components achieve consistent improvements, yielding state-of-the-art interactive segmentation performance. Our code is available at https://github.com/XuZhang1211/PVPUFormer.

研究の動機と目的

• インタラクティブ画像セグメンテーションにおける単一プロンプト相互作用の限界を克服し、ユーザーの柔軟性と相互作用効率を向上させること。
• 高コストなストレージと計算負荷を抱える既存の2次元プロンプト表現（例：距離マップ、ディスクマップ）の非効率性と弱い特徴相互作用を是正すること。
• クリック、ボックス、スケッチといった多様な視覚的プロンプトを、空間的意図を保持し、より深いクロスモーダル相互作用を可能にする1つの密でコンactな表現に統合すること。
• プロンプトとピクセルレベルの特徴を一致させる新しい対照損失を用いて、ユーザーのフィードバックに基づき画像の意味的特徴を精緻化し、セグメンテーション精度を向上させること。
• プロンプトタイプの動的切り替えを可能にするため、リアルワールドの応用において柔軟でマルチモーダルなユーザー相互作用を実現すること。

提案手法

• プロンプト統合エンコーダー（PuE）は、ガウス分布に基づく水平および垂直プロジェクションを用いて、各視覚的プロンプトを1次元ベクトルにマッピングし、空間的情報を保持する密でコンパクトな表現を生成する。
• 統合されたプロンプト表現は、Dual-cross Merging Attention（DMA）ブロックにクエリとして注入され、画像特徴とプロンプト特徴の間で深い双方向的特徴相互作用を実現する。
• プロンプトからピクセルへの対照損失（P²CL）を導入し、ユーザーのプロンプトに類似する特徴との類似度を最大化すると同時に、類似しない特徴との類似度を最小化することで、候補となる意味的特徴を精緻化する。
• ディスクマップ／距離マップの代わりに1次元ベクトルを採用することで、2次元のスパース表現を回避し、計算およびメモリのオーバーヘッドを削減する。
• アーキテクチャの変更なしにマルチプロンプト入力（例：クリック＋ボックス＋スケッチ）をサポートし、ユーザーの柔軟な相互作用を可能にする。
• エンドツーエンドでクロスエントロピー損失とP²CLを用いて学習することで、ユーザーのフィードバックに基づく予測の反復的精緻化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 一様で密な1次元表現が、多様な視覚的プロンプト（クリック、ボックス、スケッチ）を空間的意図を保持しながら効率的に符号化し、計算コストを削減できるか？
• RQ2 アテンションメカニズムを介した画像特徴とプロンプト特徴の深い相互作用は、単純な連結処理と比較してセグメンテーション精度を向上させるか？
• RQ3 対照学習に基づく損失（P²CL）は、プロンプト特徴と一致するように画像の意味的特徴を精緻化し、予測の一貫性を向上させることができるか？
• RQ4 クリック＋ボックス＋スケッチなどのマルチプロンプト相互作用は、単一プロンプト相互作用と比較して、相互作用効率およびセグメンテーション精度に優れているか？
• RQ5 提案手法は、データ分布が異なる多様なデータセットにどの程度一般化可能か？

主な発見

• VPUFormerは、Berkeley、DAVIS、SBDを含む7つのベンチマークデータセットで最先端の性能を達成し、すべての設定で一貫した改善を示した。
• すべての3つのプロンプトタイプ（クリック＋ボックス＋スケッチ）を用いる場合、85% IoUに到達するための平均相互作用回数は1.10にまで低下し、90% IoUには1.59にまで低下した。これは単一プロンプトベースラインを上回る。
• クリックのみを用いると、85% IoUに到達するまでの相互作用回数が最も低く（1.38回）、他のプロンプトタイプの組み合わせに比べて性能が劣る。一方、すべてのプロンプトタイプを組み合わせることで相互作用回数が減少し、精度が向上した。
• プロンプトからピクセルへの対照損失（P²CL）は、特徴の一致を著しく向上させ、正解からのずれを低減し、曖昧な入力に対しても耐性を高めた。
• PuEによる統合的1次元プロンプト表現は、2次元マップベースの手法と比較してストレージおよび計算コストを削減しながら、性能を維持または向上させた。
• モデルは多様なデータセットに良好に一般化したが、ドメイン特化のファインチューニングなしでは医療画像では性能が低下した。これは、オープンセットのシナリオにおいて適応の必要性を示唆している。