[論文レビュー] Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models

Minheng Ni, Yabo Zhang+4 more|arXiv (Cornell University)|Aug 31, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

Ref-Diffは、トレーニングデータや外部のプロポーザルジェネレータを必要とせず、Stable Diffusionのような生成モデルを活用して微細な視覚的・言語的関係を暗黙的に学習するゼロショット参照画像セグメンテーション手法を提案する。この手法は生成モデルのみを用いてもSOTAの弱教師付きモデルと同等の性能を達成し、CLIPのような判別モデルと組み合わせると顕著に優れた性能を示し、生成モデルがこのタスクにおいて有効的かつ補完的であることを示している。

ABSTRACT

Zero-shot referring image segmentation is a challenging task because it aims to find an instance segmentation mask based on the given referring descriptions, without training on this type of paired data. Current zero-shot methods mainly focus on using pre-trained discriminative models (e.g., CLIP). However, we have observed that generative models (e.g., Stable Diffusion) have potentially understood the relationships between various visual elements and text descriptions, which are rarely investigated in this task. In this work, we introduce a novel Referring Diffusional segmentor (Ref-Diff) for this task, which leverages the fine-grained multi-modal information from generative models. We demonstrate that without a proposal generator, a generative model alone can achieve comparable performance to existing SOTA weakly-supervised models. When we combine both generative and discriminative models, our Ref-Diff outperforms these competing methods by a significant margin. This indicates that generative models are also beneficial for this task and can complement discriminative models for better referring segmentation. Our code is publicly available at https://github.com/kodenii/Ref-Diff.

研究の動機と目的

• トレーニングデータが存在しないゼロショット参照画像セグメンテーションの課題に、生成モデルが内蔵する視覚的・言語的理解能力を活用して対処すること。
• 生成モデルが内在的なインスタンスプロポーザルジェネレータとして機能できることを検証し、外部のプロポーザルネットワークの必要性を排除すること。
• 生成モデルと判別モデルを組み合わせることで、ゼロショット環境下でのセグメンテーション精度が向上する補完的利点を調査すること。
• 生成モデルが得る微細なマルチモodal理解が、トレーニングなしで正確なインスタンスロケーションとセグメンテーションを可能にすることを実証すること。

提案手法

• 本手法は、事前学習済みのテキストから画像への拡散モデル（例：Stable Diffusion）を用い、参照表現に基づいてアテンションマップを生成し、それをもとにセグメンテーションマスクを予測する。
• 生成モデルのアテンションメカニズムを活用して、参照テキストの特定のトークン（特に主題トークン）に対応する関連視覚領域に注目する。
• 外部のプロポーザルジェネレータを必要としない。生成モデルのアテンション分布がインスタンスレベルのプロポーザルを内蔵的に生成するからである。
• 最終的なセグメンテーションは、生成モデルのアテンションマップを統合することで得られ、CLIPのような判別モデルと統合することで精緻化が可能である。
• ハイブリッドなRef-Diffフレームワークは、生成モデルのロケーション能力と判別モデルの強固な分類能力を組み合わせ、性能を向上させる。
• 本手法はエンドツーエンド微分可能で、推論のみを対象としており、微調整なしにゼロショットデプロイメントが可能である。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionのような生成モデルは、ゼロショット参照画像セグメンテーションに十分な微細な視覚的・言語的関係を暗黙的に学習できるか？
• RQ2 生成モデル単体で効果的なインスタンスプロポーザルジェネレータとして機能できるか？ これにより外部プロポーザルネットワークの必要性が排除できるか？
• RQ3 生成モデルと判別モデルを組み合わせることで、ゼロショット参照画像セグメンテーションにおいて優れたセグメンテーション性能が得られるか？
• RQ4 生成モデルのアテンションメカニズムは、参照表現と正解のセグメンテーションマスクとどのように整合しているか？

主な発見

• 生成モデル単体でも、3つのベンチマークデータセットにおいてSOTAの弱教師付き手法と同等の性能を達成しており、トレーニングなしでゼロショットセグメンテーションが可能であることを示している。
• CLIPのような判別モデルと組み合わせると、既存の弱教師付きおよびゼロショット手法を顕著に上回り、最先端の結果を達成している。
• 可視化結果から、生成モデルのアテンションは、特にテキストの文脈を的確に捉えた主題トークンに対し、強く関連する画像領域に集中していることがわかる。
• 生成モデルは、異なるテキストトークンに基づいて関連する画像領域に注目することで、文脈理解を示しており、正確なロケーションとセグメンテーションを可能にしている。
• 失敗事例は主に曖昧な参照表現に起因しており、例えば左端の手をターゲットとして誤認知するケースが見られる。これは言語的曖昧性に対する耐性向上の必要性を示唆している。
• 推論時の計算コストが高めではあるが、トレーニング不要かつデータ効率の良いセグメンテーションを実現しており、リソースが限られた環境でのデプロイ障壁を低減している。