[논문 리뷰] Best Prompts for Text-to-Image Models and How to Find Them

Nikita Pavlichenko, Dmitry Ustalov|arXiv (Cornell University)|2022. 09. 23.

Aesthetic Perception and Analysis인용 수 7

한 줄 요약

이 논문은 Stable Diffusion와 같은 텍스트-이미지 모델을 위한 최적의 프롬프트 키워드를 발견하기 위해 인간이 참여하는 유전 알고리즘을 제안한다. 이미지 품질을 평가하기 위해 쌍별 커뮤니티 기반 비교를 사용한다. 이 방법은 일반 키워드 조합과 비교해 뚜렷이 뛰어난 성능을 보이며, 훈련 데이터에서 평균 순위 43.60, 검증 데이터에서 평균 순위 46.00을 기록한다.

ABSTRACT

Recent progress in generative models, especially in text-guided diffusion models, has enabled the production of aesthetically-pleasing imagery resembling the works of professional human artists. However, one has to carefully compose the textual description, called the prompt, and augment it with a set of clarifying keywords. Since aesthetics are challenging to evaluate computationally, human feedback is needed to determine the optimal prompt formulation and keyword combination. In this paper, we present a human-in-the-loop approach to learning the most useful combination of prompt keywords using a genetic algorithm. We also show how such an approach can improve the aesthetic appeal of images depicting the same descriptions.

연구 동기 및 목표

• 텍스트-이미지 생성에서 프롬프트 키워드에 대한 체계적 평가 부족 문제를 해결하기 위해.
• 일반적인 관행을 초월해 이미지 미학을 향상시키는 데 가장 효과적인 키워드 조합을 규명하기 위해.
• 확장 가능하고 인간이 참여하는 방법을 통해 프롬프트 템플릿을 평가하고 최적화하기 위해.
• 커뮤니티 기반의 프롬프트 엔지니어링 향상을 가능하게 하기 위해 재현 가능한 데이터와 코드를 공개하기 위해.

제안 방법

• 유전 알고리즘은 높은 순위를 기록한 후보를 선택하고 교배 및 돌연변이를 수행한 후 재평가함으로써 키워드 조합을 반복적으로 발전시킨다.
• 각 이미지 설명에 대해, 키워드 조합당 네 장의 이미지를 생성하여 평가 일관성을 확보한다.
• 쌍별 비교는 커뮤니티 기반으로 수행되며, 평가자들은 사용된 키워드 조합을 알지 못한 채 더 미학적으로 우수한 이미지를 선택한다.
• Bradley-Terry 확률적 순위 매기기 방법을 적용하여 쌍별 비교 결과를 설명 별 전반적인 키워드 조합 순위로 집계한다.
• 각 설명에 대한 평균 순위를 계산하여 각 키워드 조합의 전반적인 미학 품질을 정량화한다.
• 키워드 조합과 그 순위를 기반으로 랜덤 포레스트 회귀모형을 학습시켜 가장 영향력 있는 키워드를 식별한다.

실험 결과

연구 질문

• RQ1 텍스트-이미지 생성에서 어떤 프롬프트 키워드 조합이 가장 미학적으로 뛰어난 이미지를 생성하는가?
• RQ2 커뮤니티에서 인기 있는 키워드의 성능은 체계적으로 최적화된 키워드 조합과 비교해 어떻게 다를까?
• RQ3 인간 선호도에 의해 이끄는 유전 알고리즘이 뛰어난 프롬프트 템플릿을 효과적으로 발견할 수 있는가?
• RQ4 이미지 품질 향상에 가장 영향력 있는 키워드는 무엇이며, 일반적으로 사용되는 키워드와는 어떻게 다를까?

주요 결과

• 제안된 방법은 훈련 데이터에서 평균 순위 43.60, 검증 데이터에서 평균 순위 46.00을 기록한 키워드 조합을 발견했으며, 이는 '키워드 없음' 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 가장 뛰어난 성능을 보인 키워드 조합은 다음과 같다: cinematic, colorful background, concept art, dramatic lighting, high detail, highly detailed, hyper realistic, intricate, intricate sharp details, octane render, smooth, studio lighting, trending on artstation.
• 랜덤 포레스트 모델이 식별한 가장 중요한 키워드는 'colorful background'였으며, 이는 가장 널리 사용되는 키워드 중 하나가 아니었다.
• 유전 알고리즘은 15개의 가장 인기 있는 키워드보다 성능을 향상시켰으며, 이 키워드 조합은 훈련 데이터에서 평균 14.25점, 검증 데이터에서 평균 12.50점을 기록했다.
• 이 방법은 일반화 능력을 보였으며, 검증 데이터셋에서도 뛰어난 성능을 보였지만, 표본 수가 적어 더 높은 노이즈를 보였다.
• 연구 결과는 'trending on artstation'과 같은 인기 키워드가 반드시 가장 효과적인 것은 아니며, 체계적인 최적화가 더 나은 결과를 낳는다는 점을 확인했다.