[論文レビュー] Peekaboo: Text to Image Diffusion Models are Zero-Shot Segmentors

Ryan Burgert, Kanchana Ranasinghe+2 more|arXiv (Cornell University)|Nov 23, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文では、微調整を伴わず、Stable Diffusion を含む事前学習済みテキストから画像への拡散モデルを活用する、ゼロショット、オープンボリューム、非教師ありの新規手法 Peekaboo を紹介する。推論時最適化に、独自のアルファ合成ベースの損失関数を適用することで、自然言語プロンプトから正確なセグメンテーションマスクを生成する。Pascal VOC-C および RefCOCO で競争力ある結果を達成し、RGB データでの学習のみで行われた拡散モデルから、透過性を有する RGBA 画像のエンドツーエンド生成を初めて実現した。

ABSTRACT

Recently, text-to-image diffusion models have shown remarkable capabilities in creating realistic images from natural language prompts. However, few works have explored using these models for semantic localization or grounding. In this work, we explore how an off-the-shelf text-to-image diffusion model, trained without exposure to localization information, can ground various semantic phrases without segmentation-specific re-training. We introduce an inference time optimization process capable of generating segmentation masks conditioned on natural language prompts. Our proposal, Peekaboo, is a first-of-its-kind zero-shot, open-vocabulary, unsupervised semantic grounding technique leveraging diffusion models without any training. We evaluate Peekaboo on the Pascal VOC dataset for unsupervised semantic segmentation and the RefCOCO dataset for referring segmentation, showing results competitive with promising results. We also demonstrate how Peekaboo can be used to generate images with transparency, even though the underlying diffusion model was only trained on RGB images - which to our knowledge we are the first to attempt. Please see our project page, including our code: https://ryanndagreat.github.io/peekaboo

研究の動機と目的

• 事前学習済みテキストから画像への拡散モデルが、意味的フレーズの空間的局在情報を内蔵しているかどうかを調査すること。
• セグメンテーション固有の微調整やアノテーションを一切必要としないゼロショット、オープンボリューム、非教師ありのセグメンテーション手法を開発すること。
• 拡散モデルを用いて、複雑な自然言語プロンプトのピクセル単位の対応付け（ピクセルレベルの接地）を実現できることを示すこと。
• RGB 画像での学習のみで行われたモデルを用いて、透過性を有する RGBA 画像のエンドツーエンド生成を可能にすること。

提案手法

• Peekaboo は、事前学習済みの Stable Diffusion モデルに対して推論時最適化を実行し、テキストプロンプトからセグメンテーションマスクを生成する。
• 最適化中にアルファマスクの学習を向上させるために、独自のアルファ合成ベースの損失関数を導入する。
• 微分可能なアルファマスクを最適化し、固定された背景画像と合成することで合成画像を生成する。
• テキストプロンプトと生成画像領域の間のクロスマダル類似度を目的関数として、スコア蒸留損失（SDL）を用いる。
• 最適化プロセスは、テキストプロンプトと生成画像との整合性を最大化するように、反復的にアルファマスクを更新する。
• 本手法は、実画像（セグメンテーション用）および合成画像合成（透過画像生成用）の両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusion のような事前学習済みテキストから画像への拡散モデルを、微調整なしにゼロショットの意味的および参照的セグメンテーションに使用できるか？
• RQ2 拡散モデルの内部表現に、自然言語フレーズのための暗黙の空間的局在情報が含まれているか？
• RQ3 RGB 画像での学習のみで行われた拡散モデルを、最適化によって透過性（RGBA）を有する画像の生成に利用できるか？
• RQ4 提案されたアルファ合成ベースの損失は、CLIP ベースの損失と比較して、セグメンテーション性能にどのように差をつけるか？
• RQ5 プロンプトの複雑さやオブジェクトの位置（例：中心 vs. 縁）が、セグメンテーション精度に与える影響は何か？

主な発見

• Peekaboo は、微調整なしに RefCOCO の参照セグメンテーションベンチマークおよび変更版 Pascal VOC-C の非教師あり意味的セグメンテーションベンチマークで競争力ある性能を達成した。
• 本手法は、「白いシャツと黒いズボンを着た、メガネをかけた、ハゲた男」といった複雑で合成的なフレーズを、高い空間的正確性で正しくセグメンテーションできた。
• Peekaboo は強力な形状の事前知識を有しており、元の画像に一部が隠れていたり、見えなかったりしても、オブジェクトを正しくセグメンテーションできた。
• RGB 画像での学習のみで行われたモデルを用いて、エンドツーエンドの最適化により、透過性を有するリアルな RGBA 画像の生成が可能であり、これは RGB データでの学習のみで行われた拡散モデルに対して、画期的な結果である。
• アルファ合成ベースの損失は、従来の CLIP ベースの最適化手法と比較して、セグメンテーション品質と収束速度の両面で優れていた。
• オブジェクトが画像の中心付近に存在する場合、セグメンテーションの性能が最も高かった。これは、モデルの内部局在行動に偏りがあることを示唆している。