[論文レビュー] ProSpect: Prompt Spectrum for Attribute-Aware Personalization of Diffusion Models

Yuxin Zhang, Weiming Dong+7 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成段階における拡散モデルの段階的ノイズ除去プロセスを活用し、画像を生成段階にわたるテキストトークン埋め込みのスペクトルとして表現することで、属性に配慮したパーソナライゼーションを可能にする新規手法ProSpectを提案する。拡張されたプロンプトスぺクトル空間 $\mathcal{P}^{*}$ を導入することで、微調整を伴わずに素材、スタイル、コンテンツ、レイアウトの編集において優れた分離性と制御性を達成し、単一の画像入力からの高精細で直感的な属性操作を実現する。

ABSTRACT

Personalizing generative models offers a way to guide image generation with user-provided references. Current personalization methods can invert an object or concept into the textual conditioning space and compose new natural sentences for text-to-image diffusion models. However, representing and editing specific visual attributes such as material, style, and layout remains a challenge, leading to a lack of disentanglement and editability. To address this problem, we propose a novel approach that leverages the step-by-step generation process of diffusion models, which generate images from low to high frequency information, providing a new perspective on representing, generating, and editing images. We develop the Prompt Spectrum Space P*, an expanded textual conditioning space, and a new image representation method called \sysname. ProSpect represents an image as a collection of inverted textual token embeddings encoded from per-stage prompts, where each prompt corresponds to a specific generation stage (i.e., a group of consecutive steps) of the diffusion model. Experimental results demonstrate that P* and ProSpect offer better disentanglement and controllability compared to existing methods. We apply ProSpect in various personalized attribute-aware image generation applications, such as image-guided or text-driven manipulations of materials, style, and layout, achieving previously unattainable results from a single image input without fine-tuning the diffusion models. Our source code is available athttps://github.com/zyxElsa/ProSpect.

研究の動機と目的

• 拡散モデルの既存パーソナライゼーション手法において、特に素材、スタイル、レイアウトなどの視覚的属性について、分離性と編集可能性に欠ける問題に対処すること。
• 拡散モデルの段階的生成プロセスと、視覚的属性（例：低周波数のレイアウト、高周波数の素材）の周波数成分との相関関係を解明すること。
• ノイズ除去段階にわたって属性固有の情報を捉えるために、$\mathcal{P}^{*}$ と呼ばれる新たなテキスト条件付け空間を設計すること。
• 画像リファレンスを段階別テキスト埋め込みに逆変換することで、正確で属性に配慮した画像生成および編集を実現する手法ProSpectを設計すること。

提案手法

• 本手法は、拡散プロセスの異なるノイズ除去段階を別々の条件付けポイントとしてモデル化する、拡張されたプロンプトスぺクトル空間 $\mathcal{P}^{*}$ を導入する。
• ProSpectは、拡散プロセスの各段階におけるトークン埋め込みを最適化することでリファレンス画像を逆変換し、異なる周波数で属性固有の情報を捉える。
• 本手法は、拡散モデルがレイアウト（低周波数）→ コンテンツ → 素材／スタイル（高周波数）の順に画像を生成するという観察に裏打ちされており、段階別属性分離を可能にする。
• 各ノイズ除去ステップにおいて、一意のテキストトークン埋め込みを計算・保存し、生成プロセス全体にわたる条件付けのスペクトルを形成する。
• 特定の段階からの埋め込みを意図的に変更することで属性編集を可能にする。例えば、高周波数段階の埋め込みを編集することで素材を変更する。
• リファレンス画像からの段階別埋め込みとプロンプトからの情報を組み合わせることで、画像誘導型およびテキスト駆動型の生成を可能にし、複雑な属性の再結合を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの段階的ノイズ除去プロセスを活用することで、素材、スタイル、レイアウトといった視覚的属性のより優れた分離性を達成できるか？
• RQ2 視覚的属性の周波数コンテンツが、拡散モデルの特定のノイズ除去段階とどのように相関するか？
• RQ3 拡張されたテキスト条件付け空間 $\mathcal{P}^{*}$ は、グローバル条件付けと比較して、属性に配慮した画像生成の忠実性と制御性を向上させられるか？
• RQ4 ProSpectは、拡散モデルの再トレーニングや微調整を伴わずに、個々の属性の編集をどの程度可能にするか？
• RQ5 ProSpectは、1枚目の画像からレイアウト、2枚目の画像からコンテンツ、3枚目の画像からスタイルを組み合わせる多属性編集に一般化できるか？

主な発見

• ProSpectは、素材、スタイル、コンテンツ、レイアウトを拡散プロセスの異なる段階に分離することで、独立した編集を可能にし、優れた属性分離性を達成する。
• 本手法は、定量的結果により、アーチファクトを伴わず正確な属性転送が可能な高精細な画像生成を実現し、忠実性と表現力が向上していることが示された。
• レイアウト誘導型生成において、ProSpectは複雑な構成（例：「ストロベリーカップケーキのスプーン」）や、中央揃えや反射といった構造的特徴をリファレンス画像から正確に転送できた。
• 多属性編集において、ProSpectは1枚目の画像からレイアウト、2枚目の画像からコンテンツ、3枚目の画像からスタイルを組み合わせ、相対的な空間配置と視覚的特徴を保持した。
• テキストインバージョンやDreamBoothといった既存手法と比較して、ProSpectは属性編集の忠実性と制御性において優れており、歪みが最小限で意味的に整合性のある結果を生成できた。
• 複数のリファレンス画像（例：4体の彫刻）を用いる場合、ProSpectは少ないショットでの画像生成において、多様性と品質が向上し、先行手法を上回った。