[論文レビュー] Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter

Jinglong Wang, Xiawei Li+6 more|arXiv (Cornell University)|Sep 6, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文では、Stable Diffusion などの事前学習済みテキストから画像への拡散モデルを活用し、ノイズ除去 U-Net の自己注意マップとクロス注意マップからセグメンテーションマップを抽出することで、トレーニング不要のオープンボキャリュラリー意味セグメンテーション手法である DiffSegmenter を提案する。微調整や追加パラメータを一切使用せず、PASCAL VOC 2012、MS COCO 2014、Pascal Context において、弱教師あり設定で mIoU 70.49% の最先端性能を達成している。

ABSTRACT

The pre-trained text-image discriminative models, such as CLIP, has been explored for open-vocabulary semantic segmentation with unsatisfactory results due to the loss of crucial localization information and awareness of object shapes. Recently, there has been a growing interest in expanding the application of generative models from generation tasks to semantic segmentation. These approaches utilize generative models either for generating annotated data or extracting features to facilitate semantic segmentation. This typically involves generating a considerable amount of synthetic data or requiring additional mask annotations. To this end, we uncover the potential of generative text-to-image diffusion models (e.g., Stable Diffusion) as highly efficient open-vocabulary semantic segmenters, and introduce a novel training-free approach named DiffSegmenter. The insight is that to generate realistic objects that are semantically faithful to the input text, both the complete object shapes and the corresponding semantics are implicitly learned by diffusion models. We discover that the object shapes are characterized by the self-attention maps while the semantics are indicated through the cross-attention maps produced by the denoising U-Net, forming the basis of our segmentation results.Additionally, we carefully design effective textual prompts and a category filtering mechanism to further enhance the segmentation results. Extensive experiments on three benchmark datasets show that the proposed DiffSegmenter achieves impressive results for open-vocabulary semantic segmentation.

研究の動機と目的

• 対照学習によるローカライゼーションと形状認識の喪失を招く CLIP のような判別モデルの限界を是正すること。
• 生成的拡散モデルが、オブジェクトの形状と意味を内蔵的に学習していることを利用し、効率的でトレーニング不要の意味セグメンテーションとしての有効性を検証すること。
• 追加のトレーニングや可学習コンponents を一切用いずに、事前学習済み拡散モデルからピクセル単位のセグメンテーションマップを抽出する手法を開発すること。
• BLIP モデルを用いた効果的なテキストプロンプト設計とカテゴリーフィルタリングにより、セグメンテーション品質を向上させること。
• 制御可能な画像編集を含む、下流タスクにおける手法の有効性を示すこと。

提案手法

• ノイズ除去 U-Net における自己注意マップ（オブジェクトの形状を表す）とクロス注意マップ（意味を表す）を組み合わせることで、セグメンテーションスコアマップを抽出する。
• ベイズの定理を用いて、条件付き生成プロセス $p(x|c)$ を逆にし、意味セグメンテーションの事後確率 $p(c|x)$ に変換することで、ピクセル単位のカテゴリ予測を可能にする。
• 異なる特徴マップ解像度（8×8、16×16、32×32、64×64）からのクロス注意マップを、経験的に調整した重み [0.3, 0.5, 0.1, 0.1] を用いた重み付き和として統合することで、意味表現を強化する。
• すべての層からの自己注意マップ ($\widehat{\mathcal{A}}_{all}^{self}$) を統合することで、境界の完全性と形状認識を向上させる。
• テキストプロンプトを BLIP モデルを用いて拡張し、条件付きキャプションを生成し、クラストークンの重みを再調整することで、ターゲットカテゴリを強調し、バックグラウンド活性化を抑制する。
• 推論では、ゼロショットモードでは t=100 での単一のノイズ除去ステップを、弱教師あり設定では複数のタイムステップ（t=1, 50, 100, 150）の平均をとることで高速性と性能の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みテキストから画像への拡散モデルは、セグメンテーションのための明示的トレーニングなしに、オブジェクトの形状と意味情報を内蔵的に学習できるか？
• RQ2 ノイズ除去 U-Net からの注意マップをどのように活用すれば、トレーニング不要の正確なセグメンテーションマップを生成できるか？
• RQ3 自己注意マップとクロス注意マップは、それぞれ形状と意味を捉えるために果たす役割は何か？
• RQ4 BLIP を用いたプロンプト工学とクラストークンの再重み付けは、セグメンテーションの正確性とカテゴリの特異性をどのように向上させるか？
• RQ5 本手法は、弱教師ありおよびゼロショット設定に一般化可能であり、既存の判別的・生成的ベースラインを上回る性能を示せるか？

主な発見

• 弱教師あり設定において、4つのノイズ除去タイムステップ（t=1, 50, 100, 150）の結果を平均することで、MS COCO 2014 データセットで mIoU 70.49% を達成した。
• 異なる解像度からのクロス注意マップの重み付き和は、単純な平均化よりも性能を向上させており、特に 8×8 および 16×16 特徴に高い重みが割り当てられている。
• すべての層からの自己注意マップ ($\widehat{\mathcal{A}}_{all}^{self}$) を統合することで、特にオブジェクト境界の品質が顕著に向上した。
• ゼロショット設定での最高性能は t=100 で達成され、mIoU 70.30% を記録した。複数タイムステップの平均化により、さらなる性能向上が得られた。
• 注意置換のためのマスクがより完全かつ正確に生成されるため、Prompt-to-Prompt (PTP) よりもより正確な画像編集が可能になった。
• 微調整や追加パラメータを一切使用せず、大規模なトレーニングやマスクアノテーションを必要とする最先端の手法と同等の結果を達成した。