[논문 리뷰] Investigating Prompt Engineering in Diffusion Models

Sam Witteveen, Martin Andrews|arXiv (Cornell University)|2022. 11. 21.

Neuroscience and Music Perception인용 수 15

한 줄 요약

이 논문은 Stable Diffusion과 같은 확산 모델에서 텍스트 프롬프트의 다양한 언어적 구성 요소가 이미지 생성에 미치는 영향을 조사한다. CLIP를 통한 의미 유사도 측정과 LPIPS를 통한 이미지 유사도 측정을 통해 저자들은 명사와 예술가 이름이 이미지 콘텐츠에 가장 강력한 영향을 미친다는 것을 입증한다. 반면 형용사(기술품사)는 최소한의 영향을 미치며, 이는 텍스트-이미지 생성에서 효과적인 프롬프트 엔지니어링을 위한 정량적 프레임워크를 제공한다.

ABSTRACT

With the spread of the use of Text2Img diffusion models such as DALL-E 2, Imagen, Mid Journey and Stable Diffusion, one challenge that artists face is selecting the right prompts to achieve the desired artistic output. We present techniques for measuring the effect that specific words and phrases in prompts have, and (in the Appendix) present guidance on the selection of prompts to produce desired effects.

연구 동기 및 목표

• 텍스트 프롬프트의 다양한 언어적 범주가 확산 모델의 이미지 생성에 미치는 영향을 정량화하는 것.
• 이미지 콘텐츠의 시각적 변화에 가장 크게 기여하는 프롬프트 구성 요소(예: 기술어, 명사, 예술가)를 특정하는 것.
• 프롬프트 수정이 이미지 출력에 미치는 영향을 측정하고 비교하는 체계적인 방법을 개발하는 것.
• 원하는 시각적 결과를 얻기 위해 예술가들과 연구자들이 효과적인 프롬프트를 구성하는 데 실증적 지침을 제공하는 것.
• 훈련 데이터의 편향을 폭 드러내기 위해 스타일적 및 의미적 프롬프트 구성 요소가 이미지 생성에 어떻게 영향을 미치는지 분석하는 것.

제안 방법

• 저자들은 프롬프트를 두 가지 구성 요소로 분해한다: 물리적/사실적 콘텐츠(예: '주니어 캣이 무릎을 꿇고 있는 모습')와 스타일 기술어(예: 조명, 예술적 스타일)이다.
• 모든 프롬프트 변형에 대해 고정된 랜덤 시드와 스케줄러를 사용하여 이미지 생성을 결정적으로 유지함으로써 통제된 비교를 가능하게 한다.
• 이미지 유사도는 LPIPS와 인지적 손실을, 텍스트 유사도는 CLIP 임베딩의 코사인 유사도와 Sentence Transformers를 사용하여 평가한다.
• 연구는 2,000개의 프롬프트 변형을 기반으로 15,000개 이상의 이미지 생성을 평가하며, 기술어, 명사, 예술가, 조명 표현과 같은 언어적 범주를 분리하여 분석한다.
• 각 범주별로 LPIPS 점수의 통계적 분포를 분석하여 프롬프트 수정에 따른 시각적 변화의 크기를 평가한다.
• CLIP와 LPIPS를 상관관계 분석하여 텍스트 임베딩의 의미적 차이가 생성된 이미지의 인지적 차이와 얼마나 일치하는지 평가한다.

실험 결과

연구 질문

• RQ1 형용사, 명사, 고유명사와 같은 다양한 언어적 범주가 텍스트-이미지 확산 모델의 시각적 출력에 어떻게 영향을 미치는가?
• RQ2 조명과 같은 스타일 기술어(예: '볼륨 메트릭 조명')가 '예술가 이름'과 같은 콘텐츠 수정어에 비해 이미지 콘텐츠에 얼마나 큰 영향을 미치는가?
• RQ3 CLIP 임베딩이 프롬프트 차이에 기반해 생성된 이미지 간의 시각적 유사도를 얼마나 잘 예측하는가?
• RQ4 여러 모델 생성에 걸쳐 프롬프트 구성 요소의 영향을 체계적으로 분류하고 정량화할 수 있는가?
• RQ5 훈련 데이터의 편향은 특정 예술가나 스타일을 참조할 때 프롬프트 엔지니어링을 통해 어떻게 드러나는가?

주요 결과

• 기술품사(예: 형용사 '아름다운' 또는 '은밀한')는 이미지 생성에 상대적으로 작은 영향을 미치며, 평균 LPIPS 유사도 점수는 0.664이다.
• 명사는 이미지 콘텐츠에 중대한 변화를 일으키며, 평균 LPIPS 유사도 점수가 0.512로 떨어져 높은 시각적 이질성을 나타낸다.
• 예술가 이름(예: '레오나르도 다 빈치의 스타일로')은 가장 극적인 변화를 일으키며, LPIPS 유사도 점수는 최저 0.465에 이르러 구조적 및 스타일적 변화가 크다는 것을 시사한다.
• 조명 수식어는 이중성 행동을 보인다: 일부(예: '주변 조명')는 명사처럼 작용하여 이미지를 극적으로 변화시키지만, 다른 일부(예: '아름다운 볼륨 메트릭 조명')는 기술품사처럼 작용해 거의 영향을 미치지 않는다.
• CLIP 기반 텍스트 유사도는 Sentence Transformers보다 LPIPS 기반 이미지 유사도와 더 강한 상관관계를 보이며, CLIP 임베딩이 확산 모델의 잠재 공간과 더 잘 일치한다는 것을 시사한다.
• 이 연구는 프롬프트 엔지니어링이 단순한 미적 선택이 아니라 체계화될 수 있음을 확인하며, 명사와 예술가 이름이 이미지 구성 제어에 가장 강력한 도구라는 것을 입증한다.