[論文レビュー] Personalizing Text-to-Image Generation via Aesthetic Gradients

Víctor Gallego|arXiv (Cornell University)|Sep 25, 2022

Image Retrieval and Classification Techniques被引用数 5

ひとこと要約

この論文では、ユーザー定義の美的嗜好に一致するように、CLIPテキストエンコーダーの埋め込みを最適化することで、テキストから画像への拡散モデルをパーソナライズするための『アーティスティック勾配』を導入する。参照画像のセットを用いて、プロンプトの埋め込みとユーザーが提供する美的埋め込みのドット積に基づく損失関数を用いて、CLIPテキストエンコーダーにわずかな勾配ステップを適用することで、微調整を伴わせずに画像生成の質とスタイルの整合性を向上させる。その結果、より高い美的スコアと一貫性のあるスタイル的嗜好が実現された。

ABSTRACT

This work proposes aesthetic gradients, a method to personalize a CLIP-conditioned diffusion model by guiding the generative process towards custom aesthetics defined by the user from a set of images. The approach is validated with qualitative and quantitative experiments, using the recent stable diffusion model and several aesthetically-filtered datasets. Code is released at https://github.com/vicgalle/stable-diffusion-aesthetic-gradients

研究の動機と目的

• オブジェクトレベルのパーソナライズを超えた、ユーザー固有の美的嗜好を捉えきれないテキストから画像へのモデルの限界に対処すること。
• 望ましいビジュアルスタイルや美的嗜好を反映する参照画像のコレクションに基づいて、拡散モデルをパーソナライズすること。
• 微調整を伴わず、元のプロンプトの意味的整合性を保ちながら、軽量で効率的な方法を開発すること。
• CLIPテキストエンコーダーの表現をユーザー定義のビジュアル嗜好と一致させることで、生成画像の美的質を向上させること。

提案手法

• 本手法は、ユーザーが提供したK枚の参照画像のCLIP視覚的埋め込みの平均値として、美的埋め込みeを計算し、単位長に正規化する。
• 損失関数は、プロンプトのCLIPテキスト埋め込みcと美的埋め込みeの間のドット積として定義され、プロンプトとユーザーの嗜好の整合性を測定する。
• 勾配降下法を用いて、損失∇θ(c eᵀ)に基づき、CLIPテキストエンコーダーの重みθを更新することで、プロンプト表現を望ましい美的嗜好に適合させる。
• 学習率ε = 1e−4で、わずかなステップ数（5〜20ステップ）にわたり更新を行い、パーソナライズされたプロンプト埋め込みc′を生成する。
• 微調整の対象はCLIPテキストエンコーダーのみであり、拡散モデルと視覚的エンコーダーは固定されたままにされ、計算効率とモデル安定性が保たれる。
• その後、パーソナライズされた埋め込みc′を用いて拡散モデルを条件づけ、元のプロンプトとユーザーの美的嗜好の両方を反映した画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への拡散モデルを、特定のオブジェクトではなく、参照画像のセットによって定義される広範な美的スタイルにパーソナライズできるか？
• RQ2 CLIPテキストエンコーダーの勾配ベース最適化が、生成画像とユーザー定義のビジュアル嗜好との整合性をどの程度向上できるか？
• RQ3 本手法は、単純なプロンプト工学（例：『gloomcore』や『glowwave』をプロンプトに追加）よりも、複雑なビジュアルスタイルを捉える能力に優れているか？
• RQ4 微調整を伴わず、生成画像の美的質をどの程度向上できるか？
• RQ5 学習率や最適化ステップ数といったハイパーパrameterに、本手法はどの程度感受性を示すか？

主な発見

• アーティスティック勾配手法は、オープンソースの美的スコアリングモデルによる測定において、元のStable Diffusionモデルと比較して生成画像の平均的な美的スコアを顕著に向上させた。
• SAC₈₊およびLAION₇₊データセットに基づくパーソナライズされた埋め込みを用いて生成された画像は、ファンタジー風や花柄風のスタイルなど、ターゲットの美的嗜好と強い整合性を示しており、定性的な分析でも裏付けられた。
• 本手法は、CLIPのテキストエンコーダーの限界によりほとんど効果がなかった単純なプロンプト拡張（例：『gloomcore』や『glowwave』をプロンプトに追加）を上回る性能を示した。
• 本手法は、複雑で長めの記述を含む多様なプロンプトに対しても一貫したスタイル転送を実現しており、プロンプトの変化に対して頑健であることが示された。
• 本手法は計算的にも効率的であり、CLIPテキストエンコーダーに対してわずか5〜20ステップの勾配更新で十分であり、拡散モデルの微調整やモデル重みの保存を必要としない。
• 1つの美的嗜好ごとに1つの768次元ベクトルを用いることで、コン act で、共有可能でスケーラブルなパーソナライズが可能になった。