[논문 리뷰] PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation

Yingchaojie Feng, Xingbo Wang외 6명|arXiv (Cornell University)|2023. 07. 18.

Image Retrieval and Classification Techniques참고 문헌 74인용 수 6

한 줄 요약

PromptMagician는 DiffusionDB에서 유사한 이미지-프롬프트 쌍을 검색하고, CLIP 기반의 계층적 클러스터링 방법을 통해 의미적으로 관련성이 높은 키워드를 추천함으로써 텍스트-이미지 생성을 위한 상호작용형 프롬프트 엔지니어링을 지원하는 시각적 분석 시스템이다. 이 시스템은 다중 수준의 시각화를 통해 사용자가 프롬프트를 탐색하고 평가하며 개선할 수 있도록 하여, 텍스트-이미지 생성에서 프롬프트의 효과성과 창의성 지원을 크게 향상시킨다.

ABSTRACT

Generative text-to-image models have gained great popularity among the public for their powerful capability to generate high-quality images based on natural language prompts. However, developing effective prompts for desired images can be challenging due to the complexity and ambiguity of natural language. This research proposes PromptMagician, a visual analysis system that helps users explore the image results and refine the input prompts. The backbone of our system is a prompt recommendation model that takes user prompts as input, retrieves similar prompt-image pairs from DiffusionDB, and identifies special (important and relevant) prompt keywords. To facilitate interactive prompt refinement, PromptMagician introduces a multi-level visualization for the cross-modal embedding of the retrieved images and recommended keywords, and supports users in specifying multiple criteria for personalized exploration. Two usage scenarios, a user study, and expert interviews demonstrate the effectiveness and usability of our system, suggesting it facilitates prompt engineering and improves the creativity support of the generative text-to-image model.

연구 동기 및 목표

• 자연어의 모호성과 복잡성으로 인해 발생하는 텍스트-이미지 생성에서의 비효율적 프롬프트 생성 문제를 해결한다.
• 초보자와 전문 사용자가 상호작용형 시각화와 추천을 통해 반복적으로 프롬프트와 하이퍼파라미터를 개선할 수 있도록 지원한다.
• 교차 모odal 임베딩과 사용자 정의 평가 기준을 활용하여 이미지 결과와 프롬프트 키워드에 대한 개인화된 탐색을 제공한다.
• 대규모 프롬프트-이미지 코퍼스(DiffusionDB)에서 고성능이며 관련성이 높은 키워드를 식별하고 추천하여 프롬프트 엔지니어링을 향상시킨다.
• 키워드와 해당하는 이미지 클러스터를 함께 시각화하여 사용자가 프롬프트-이미지 관계를 깊이 이해할 수 있도록 돕는다.

제안 방법

• DiffusionDB에서 검색된 이미지를 CLIP 임베딩으로 인코딩하고, 의미적 유사성 기반으로 계층적 클러스터로 그룹화한다.
• 각 이미지 클러스터와 관련된 프롬프트에 대해 클러스터 수준의 TF-IDF를 적용하여 특별한(중요하고 관련성 있는) 프롬프트 키워드를 식별한다.
• 추천된 키워드를 가장 관련성이 높은 이미지 클러스터에 매칭하고, 2차원 임베딩 공간에서 클러스터와 함께 상호작용 가능한 방식으로 시각화한다.
• 모델 입력 뷰, 이미지 브라우저 뷰, 이미지 평가 뷰, 현지 탐색 뷰로 구성된 다중 뷰 인터페이스를 통합하여 정교한 개선을 지원한다.
• 사용자 정의 평가 기준(예: '아름다운', '자세한')을 활용해 관심 있는 이미지 서브셋을 필터링하고 집중적으로 탐색할 수 있도록 한다.
• 문장 구조보다 키워드를 우선시하는 설계 가이드라인을 기반으로 훈련된 프롬프트 추천 모델을 활용하여 프롬프트 품질을 향상시킨다.

Figure 1 : The \name framework consists of four major components. It enables users to (A) specify model input for text-to-image creation. \name (B) generates a set of images using Stable Diffusion and (C) identifies related prompt keywords for recommendations. (D) Both the image results and prompt k

실험 결과

연구 질문

• RQ1 어떻게 시각적 분석 시스템이 상호작용형 시각화와 추천을 통해 사용자가 텍스트-이미지 프롬프트를 효과적으로 탐색하고 개선할 수 있도록 지원할 수 있는가?
• RQ2 CLIP 기반의 계층적 키워드 추천 모델은 텍스트-이미지 생성을 위한 프롬프트 엔지니어링을 어느 정도 향상시킬 수 있는가?
• RQ3 사용자들은 이 시스템의 사용성과 효과성에 대해 어떻게 평가하며, 관련성이 높은 프롬프트 키워드를 발견하고 원하는 이미지 출력을 달성하는 데에 얼마나 효과적인가?
• RQ4 다기준 이미지 평가와 키워드 및 이미지의 함께 시각화는 사용자가 프롬프트가 생성 결과에 미치는 영향을 이해하는 데에 어떻게 기여하는가?
• RQ5 이 시스템은 실제 창작 워크플로우에서 반복적인 프롬프트 및 하이퍼파라미터 개선을 어떻게 지원하는가?

주요 결과

• 이 시스템은 대규모 프롬프트-이미지 코퍼스에서 유래한 의미적으로 관련성 있고 영향력이 큰 키워드를 추천함으로써 프롬프트 엔지니어링을 크게 향상시킨다.
• 사용자 연구와 전문가 인터뷰를 통해 PromptMagician가 창의성 지원을 향상시키고, 효과적인 프롬프트 키워드를 더 효율적으로 발견할 수 있도록 한다는 것이 확인되었다.
• 다중 수준의 시각화 인터페이스를 통해 사용자는 이미지 클러스터와 관련된 키워드를 탐색할 수 있으며, 이는 프롬프트가 이미지 생성에 미치는 영향을 이해하는 데에 도움을 준다.
• 사용자 정의 평가 기준(예: '아름다운', '세밀한')의 통합은 집중적인 탐색과 이미지 서브셋 필터링을 가능하게 하여 사용성 향상을 이룬다.
• 이 시스템은 두 가지 실제 워크플로우 시나리오에서 강력한 사용성과 효과성을 입증하였으며, 반복적인 개선과 개인화된 탐색을 지원한다.
• 계층적 클러스터링과 TF-IDF를 기반으로 한 프롬프트 추천 모델은 사용자 의도와 이미지 콘텐츠에 부합하는 키워드를 높은 관련성으로 식별하는 데 성공했다.

Figure 2 : The pipeline of the prompt recommendation model involves five steps: (A) retrieving similar images from the DiffusionDB dataset; (B) embedding them according to their semantics; (C) arranging them into hierarchical clusters; (D) mining special and related keywords from the prompts in the