[論文レビュー] Investigating Prompt Engineering in Diffusion Models

Sam Witteveen, Martin Andrews|arXiv (Cornell University)|Nov 21, 2022

Neuroscience and Music Perception被引用数 15

ひとこと要約

本稿では、Stable Diffusionなどの拡散モデルにおける画像生成に、テキストプロンプト内の異なる言語的要素がどのように影響するかを調査している。CLIPを用いた意味的類似度とLPIPSを用いた画像類似度を測定することで、名詞とアーティスト名が画像の内容に最も強い影響を与えるのを実証した。一方で、形容詞（記述語）は最小限の影響にとどまることが示され、テキストから画像への生成における効果的なプロンプト工学の定量的フレームワークが得られた。

ABSTRACT

With the spread of the use of Text2Img diffusion models such as DALL-E 2, Imagen, Mid Journey and Stable Diffusion, one challenge that artists face is selecting the right prompts to achieve the desired artistic output. We present techniques for measuring the effect that specific words and phrases in prompts have, and (in the Appendix) present guidance on the selection of prompts to produce desired effects.

研究の動機と目的

• テキストプロンプト内の異なる言語的カテゴリが拡散モデルの画像生成に与える影響を定量化すること。
• プロンプトのうち、記述語、名詞、アーティスト名などの成分が画像の内容をどれほど顕著に変化させるかを特定すること。
• プロンプトの変更が画像出力に与える影響を測定・比較する体系的な手法を開発すること。
• アーティストや研究者らが望ましい視覚的結果を得るために効果的なプロンプトを構築するための実証的指針を提供すること。
• トレーニングデータのバイアスを、スタイル的および意味的プロンプト要因が画像生成に与える影響を分析することで露呈させること。

提案手法

• 著者らは、プロンプトを2つの要素に分解する：物理的／事実的コンテンツ（例：「膝をついたメインクーンキャット」）とスタイル的記述語（例：照明、芸術的スタイル）。
• 各プロンプト変種の画像生成を決定論的に行うために、固定されたランダムシードとスケジューラーを用いる。これにより、制御された比較が可能になる。
• 画像類似度はLPIPSと知覚的損失で測定され、テキスト類似度はCLIP埋め込みのコサイン類似度とSentence Transformersで評価される。
• 本研究では、2,000のプロンプト変種を対象に15,000件以上の画像生成を評価し、記述語、名詞、アーティスト、照明表現語などの言語的カテゴリを隔離して分析した。
• 各カテゴリにおけるLPIPSスコアの統計的分布を分析し、プロンプト変更に伴う視覚的変化の大きさを評価した。
• CLIPとLPIPSの相関を評価することで、テキスト埋め込みにおける意味的差が生成画像の知覚的差と一致するかを検証した。

実験結果

リサーチクエスチョン

• RQ1 形容詞、名詞、固有名などの異なる言語的カテゴリが、テキストから画像への拡散モデルの視覚的出力にどのように影響を与えるか？
• RQ2 「ボリュメトリックライティング」などのスタイル的記述語は、「アーティスト名」のようなコンテンツ変更要因と比較して、画像の内容をどの程度変化させるか？
• RQ3 CLIP埋め込みは、プロンプトの差に起因する生成画像間の視覚的類似度をどの程度正確に予測できるか？
• RQ4 複数回のモデル生成にわたり、プロンプト成分の影響を体系的に分類・定量化することは可能か？
• RQ5 トレーニングデータのバイアスは、特定のアーティストやスタイルを参照するプロンプト工学によってどのように顕在化するか？

主な発見

• 記述語（例：形容詞の「美しい」や「エーテリカルな」）は画像生成にやや小さい影響を与える。平均LPIPS類似度スコアは0.664である。
• 名詞は画像コンテンツに顕著な変化をもたらし、平均LPIPS類似度は0.512に低下し、視覚的乖離が顕著であることを示している。
• アーティスト名（例：「レオナルド・ダ・ビンチのスタイルで」）は最も劇的な変化をもたらし、LPIPS類似度スコアが最低0.465にまで低下し、構造的・スタイル的変化が顕著である。
• 照明修飾語は二峰性の挙動を示す：一部（例：「アンビエントライティング」）は名詞と同様に画像を劇的に変えるが、他の一部（例：「美しいボリュメトリックライティング」）は記述語と同様に最小限の影響にとどまる。
• CLIPベースのテキスト類似度は、Sentence TransformersよりもLPIPSベースの画像類似度と強い相関を示しており、CLIP埋め込みが拡散モデルの潜在空間とより整合していることを示唆している。
• 本研究は、プロンプト工学が単なる美的選択ではなく、体系的に整理可能であることを確認した。名詞とアーティスト名が、画像構成を制御するための最も強力な要因である。