[論文レビュー] PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation

Yingchaojie Feng, Xingbo Wang+6 more|arXiv (Cornell University)|Jul 18, 2023

Image Retrieval and Classification Techniques参考文献 74被引用数 6

ひとこと要約

PromptMagician は、DiffusionDB から類似した画像-プロンプトペアを検索し、CLIP を用いた階層的クラスタリング手法により意味的に関連するキーワードを推薦することで、テキストから画像を生成するプロンプト工学をインタラクティブに支援するビジュアルアナリティクスシステムである。ユーザーは複数レベルの可視化を通じてプロンプトを探索・評価・最適化でき、テキストから画像を生成する際のプロンプトの有効性と創造的支援が顕著に向上する。

ABSTRACT

Generative text-to-image models have gained great popularity among the public for their powerful capability to generate high-quality images based on natural language prompts. However, developing effective prompts for desired images can be challenging due to the complexity and ambiguity of natural language. This research proposes PromptMagician, a visual analysis system that helps users explore the image results and refine the input prompts. The backbone of our system is a prompt recommendation model that takes user prompts as input, retrieves similar prompt-image pairs from DiffusionDB, and identifies special (important and relevant) prompt keywords. To facilitate interactive prompt refinement, PromptMagician introduces a multi-level visualization for the cross-modal embedding of the retrieved images and recommended keywords, and supports users in specifying multiple criteria for personalized exploration. Two usage scenarios, a user study, and expert interviews demonstrate the effectiveness and usability of our system, suggesting it facilitates prompt engineering and improves the creativity support of the generative text-to-image model.

研究の動機と目的

• 自然言語の曖昧さや複雑さに起因する、テキストから画像を生成する際の効果のないプロンプト作成の課題に対処する。
• インタラクティブな可視化と推薦を通じて、初心者および熟練ユーザーが繰り返しプロンプトとハイパーパrameterを最適化できるように支援する。
• クロスモodalな埋め込みとユーザー定義の評価基準を用いて、画像結果とプロンプトキーワードのパーソナライズドな探索を提供する。
• 大規模なプロンプト-画像コーパス（DiffusionDB）から、高いインパクトを持つ関連キーワードを特定・推薦することで、プロンプト工学の改善を支援する。
• キーワードとそれに対応する画像クラスタを併記可視化することで、プロンプトと画像の関係の理解を深める。

提案手法

• DiffusionDB から取得した画像を CLIP 埋め込みで符号化し、意味的類似性に基づいて階層的クラスタにグループ化する。
• クラスタレベルの TF-IDF を適用して、各画像クラスタに関連するプロンプトから特異的（重要で関連性の高い）キーワードを同定する。
• 推薦されたキーワードを最も関連性の高い画像クラスタにマッチングし、2次元埋め込み空間にクラスタと共に可視化して、インタラクティブな探索を可能にする。
• 4つのコンポonent（モデル入力ビュー、画像ブラウザビュー、画像評価ビュー、ローカル探索ビュー）を統合したマルチビューインターフェースを採用し、段階的な最適化を支援する。
• ユーザー定義の評価基準（例：「美しい」、「詳細な」）を用いて、関心のある画像サブセットを絞り込み・フィルタリング可能にする。
• デザインガイドラインに基づいて学習されたプロンプト推薦モデルを採用し、文構造よりもキーワードを優先することで、プロンプト品質を向上させる。

Figure 1 : The \name framework consists of four major components. It enables users to (A) specify model input for text-to-image creation. \name (B) generates a set of images using Stable Diffusion and (C) identifies related prompt keywords for recommendations. (D) Both the image results and prompt k

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな可視化と推薦を通じて、ビジュアルアナリティクスシステムはどのようにユーザーがテキストから画像を生成するプロンプトを効果的に探索・最適化できるか？
• RQ2 CLIP を用いた階層的キーワード推薦モデルは、テキストから画像を生成するプロンプト工学において、どの程度改善効果を示すか？
• RQ3 ユーザーは、関連するプロンプトキーワードを発見し、望みの画像出力を得るために、本システムの使いやすさと有効性をどのように評価するか？
• RQ4 多基準画像評価とキーワード・画像の併記可視化は、プロンプトが生成結果に与える影響をユーザーが理解するのをどの程度向上させるか？
• RQ5 本システムは、実世界のクリエイティブワークフローにおいて、プロンプトとハイパーパrameterの繰り返し最適化をどのように支援するか？

主な発見

• 本システムは、大規模なプロンプト-画像コーパスから導出された意味的に関連性が高く、インパクトの大きいキーワードを推薦することで、プロンプト工学を顕著に改善する。
• ユーザースタディおよび専門家インタビューの結果、PromptMagician は創造的支援を向上させ、ユーザーが効果的なプロンプトキーワードをより迅速に発見できることを確認した。
• 複数レベルの可視化インターフェースにより、ユーザーは画像クラスタと関連キーワードを探索でき、プロンプトが画像生成に与える影響をより深く理解できるようになった。
• ユーザー定義の評価基準（例：「美しい」、「詳細な」）の統合により、特定の画像サブセットへの焦点化とフィルタリングが可能となり、使いやすさが向上した。
• 2つの実世界の使用シナリオにおいて、本システムは高い使いやすさと有効性を示し、繰り返し最適化とパーソナライズドな探索を支援した。
• 階層的クラスタリングと TF-IDF を用いたプロンプト推薦モデルは、ユーザーの意図と画像コンテンツに一致するキーワードを高い関連性で同定できた。

Figure 2 : The pipeline of the prompt recommendation model involves five steps: (A) retrieving similar images from the DiffusionDB dataset; (B) embedding them according to their semantics; (C) arranging them into hierarchical clusters; (D) mining special and related keywords from the prompts in the