[論文レビュー] Unleashing Text-to-Image Diffusion Models for Visual Perception

Wenliang Zhao, Yongming Rao+4 more|arXiv (Cornell University)|Mar 3, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、視覚言語知識を豊富に含む事前学習済みテキストから画像への拡散モデルを、視覚的認識タスクに再利用するためのフレームワーク、VPDを提案する。拡散ノイズ除去パイプラインの全プロセスを使用するのではなく、VPDはノイズ除去UNetをバックボーンとして用い、テキストをプロンプトとして入力し、アダプタを介してテキスト特徴量を精錬し、クロスアテンションマップを明示的なガイドラインとして利用することで、セマンティックセグメンテーション、リファリング画像セグメンテーション（73.3% oIoU）、深度推定（0.254 RMSE）のベンチマークで最先端の結果を達成する。

ABSTRACT

Diffusion models (DMs) have become the new trend of generative models and have demonstrated a powerful ability of conditional synthesis. Among those, text-to-image diffusion models pre-trained on large-scale image-text pairs are highly controllable by customizable prompts. Unlike the unconditional generative models that focus on low-level attributes and details, text-to-image diffusion models contain more high-level knowledge thanks to the vision-language pre-training. In this paper, we propose VPD (Visual Perception with a pre-trained Diffusion model), a new framework that exploits the semantic information of a pre-trained text-to-image diffusion model in visual perception tasks. Instead of using the pre-trained denoising autoencoder in a diffusion-based pipeline, we simply use it as a backbone and aim to study how to take full advantage of the learned knowledge. Specifically, we prompt the denoising decoder with proper textual inputs and refine the text features with an adapter, leading to a better alignment to the pre-trained stage and making the visual contents interact with the text prompts. We also propose to utilize the cross-attention maps between the visual features and the text features to provide explicit guidance. Compared with other pre-training methods, we show that vision-language pre-trained diffusion models can be faster adapted to downstream visual perception tasks using the proposed VPD. Extensive experiments on semantic segmentation, referring image segmentation and depth estimation demonstrates the effectiveness of our method. Notably, VPD attains 0.254 RMSE on NYUv2 depth estimation and 73.3% oIoU on RefCOCO-val referring image segmentation, establishing new records on these two benchmarks. Code is available at https://github.com/wl-zhao/VPD

研究の動機と目的

• 大規模なテキストから画像への拡散モデルが、画像生成を最適化しているものの、下流の視覚的認識タスクに活用可能かどうかを調査すること。
• 拡散モデルが画像生成を目的として設計されているのに対し、意味理解を要する認識タスクに知識を転送する課題に対処すること。
• 拡散モデルと従来の視覚的認識フレームワークとの間のアーキテクチャ的およびパイプライン的不整合を克服すること。
• テキストプロンプトとクロスアテンションマップを明示的なガイドラインとして用いることで、認識タスクにおける視覚言語の整合性を向上させること。
• 視覚言語事前学習済み拡散モデルが、従来の事前学習手法よりも速く、より効果的に認識タスクに適応可能であることを実証すること。

提案手法

• 事前学習済みテキストから画像への拡散モデル（例：Stable Diffusion）のノイズ除去UNetを、自然画像の特徴バックボーンとして再利用し、完全な拡散プロセスを回避する。
• 自然言語による入力画像の記述を用いて、意味的豊富な特徴を引き出すためのテキストプロンプト設計戦略を導入する。
• 学習可能なアダプタモジュールを用いて、テキスト埋め込みを精錬し、UNetから抽出された視覚特徴と整合性を高める。
• 視覚的特徴とテキスト特徴間のクロスアテンションマップを、下流タスクの明示的ガイドライン信号として利用する。
• UNetデコーダーの複数層からの特徴量を統合し、アップサンプリングおよびダウンサンプリングブロックからのクロスアテンションマップを統合して、強化された表現を得る。
• 入力画像を直接入力として受け取り、認識ヘッド用のセマンティック特徴量を生成する、ワンステップのノイズ除去推論設定を提示する。

実験結果

リサーチクエスチョン

• RQ1 画像生成を最適化するために設計された事前学習済みテキストから画像への拡散モデルを、セマンティックセグメンテーションや深度推定といった視覚的認識タスクに効果的に再利用可能か？
• RQ2 視覚言語事前学習済み拡散モデルに埋め込まれた高レベルの意味的知識を、認識タスクに適応するための視覚入力と一致させるにはどうすればよいか？
• RQ3 テキストプロンプトと視覚的特徴の間のクロスアテンションマップが、認識ベンチマークでの性能向上に果たす役割は何か？
• RQ4 提案されたフレームワークの性能は、下流の拡散モデルの事前学習の深さに比例して向上するか？
• RQ5 従来の視覚的事前学習パラダイムと比較して、提案手法はより速い収束と優れた精度を達成できるか？

主な発見

• VPDは、RefCOCO+valのリファリング画像セグメンテーションベンチマークで、73.3% oIoUという新たなSOTAを達成した。
• 深度推定において、NYUv2で0.254 RMSEという新たなSOTAを樹立し、先行手法を顕著に上回った。
• セマンティックセグメンテーション（ADE20K）において、他の事前学習ベースラインと比較して、収束が早く、性能も優れた結果を示した。
• 下流の拡散モデルの事前学習イテレーションが長くなるほど性能が向上し、SD-1-1からSD-1-5に移行する際、mIoU@8Kが4ポイント以上上昇した。
• アップサンプリングおよびダウンサンプリングブロックからのクロスアテンションマップは両方とも正の寄与を示し、その平均値が最良の性能を達成した。
• VPDの成功は、モデルの容量そのものではなく、拡散モデルに内蔵された視覚言語知識に起因する。これは、事前学習の深さに伴うスケーリングトレンドから明らかになった。