[논문 리뷰] Personalizing Text-to-Image Generation via Aesthetic Gradients

Víctor Gallego|arXiv (Cornell University)|2022. 09. 25.

Image Retrieval and Classification Techniques인용 수 5

한 줄 요약

이 논문은 사용자가 정의한 미적 기준과 일치하도록 CLIP 텍스트 인코더의 임베딩을 최적화함으로써 텍스트-이미지 확산 모델을 개인화하는 미적 기울기( aesthetic gradients)를 소개한다. 사용자 제공의 기준 이미지 세트를 기반으로 CLIP 텍스트 인코더의 가중치에 소수의 기울기 단계를 적용함으로써, 확산 모델을 미세조정하지 않고도 이미지 생성 품질과 스타일 일치도 향상시킨다. 손실 함수는 프롬프트 임베딩과 사용자가 제공한 미적 임베딩 간의 내적을 기반으로 하며, 이로 인해 더 높은 미적 점수와 더 일관된 스타일 선호도를 가진 이미지 생성이 가능해진다.

ABSTRACT

This work proposes aesthetic gradients, a method to personalize a CLIP-conditioned diffusion model by guiding the generative process towards custom aesthetics defined by the user from a set of images. The approach is validated with qualitative and quantitative experiments, using the recent stable diffusion model and several aesthetically-filtered datasets. Code is released at https://github.com/vicgalle/stable-diffusion-aesthetic-gradients

연구 동기 및 목표

• 객체 수준의 개인화를 초월해 사용자 고유의 미적 기호를 반영하지 못하는 텍스트-이미지 모델의 한계를 해결하기 위해.
• 원하는 시각적 스타일이나 미적 기준을 반영하는 기준 이미지 컬렉션을 기반으로 확산 모델의 개인화를 가능하게 하기 위해.
• 확산 모델을 미세조정하지 않으면서도 의미적 일致성을 유지하는 가벼우며 효율적인 방법을 개발하기 위해.
• CLIP 텍스트 인코더의 표현을 사용자 정의된 시각적 선호도와 일치시킴으로써 생성된 이미지의 미적 품질을 향상시키기 위해.

제안 방법

• 방법은 사용자가 제공한 K개의 기준 이미지에서 CLIP 시각적 임베딩의 평균을 취해 미적 임베딩 e를 계산하고, 이를 단위 길이로 정규화한다.
• 손실 함수는 프롬프트의 CLIP 텍스트 임베딩 c와 미적 임베딩 e 간의 내적을 기반으로 정의되며, 이는 프롬프트와 사용자 선호도 간의 일치도를 측정한다.
• 기울기 하강법을 CLIP 텍스트 인코더 가중치 θ에 적용하여 손실 ∇θ(c eᵀ)를 최소화함으로써, 프롬프트 표현을 더 잘 반영하도록 업데이트한다.
• 학습률 ε = 1e−4로 소수의 단계(5–20) 동안 업데이트를 수행하여 개인화된 프롬프트 임베딩 c′을 생성한다.
• 확산 모델과 시각적 인코더는 그대로 유지되며, CLIP 텍스트 인코더만 업데이트됨으로써 계산 효율성과 모델 안정성이 확보된다.
• 개인화된 임베딩 c′은 이후 확산 모델을 조건화하는 데 사용되어, 원래의 프롬프트와 사용자의 미적 기호를 모두 반영한 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 확산 모델이 특정 객체가 아닌, 기준 이미지 세트로 정의된 보다 광범위한 미적 스타일에 대해 개인화될 수 있는가?
• RQ2 CLIP 텍스트 인코더의 기울기 기반 최적화가 생성된 이미지와 사용자가 정의한 시각적 미적 기준 간의 일치도를 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 이러한 방법이 복잡한 시각적 스타일을 포괄적으로 포착하는 데 있어 단순한 프롬프트 엔지니어링(예: 'gloomcore' 또는 'glowwave'를 프롬프트에 추가하는 것)보다 우수한가?
• RQ4 확산 모델을 미세조정하지 않고서도 이 방법이 생성된 이미지의 미적 품질을 얼마나 향상시킬 수 있는가?
• RQ5 학습률과 최적화 단계 수와 같은 하이퍼파rameter에 대해 이 방법은 얼마나 민감한가?

주요 결과

• 미적 기울기 방법은 개방형 소스의 미적 점수 모델을 기반으로 측정했을 때, 원래의 Stable Diffusion 모델에 비해 생성된 이미지의 평균 미적 점수를 크게 향상시켰다.
• SAC₈₊ 및 LAION₇₊ 데이터셋 기반의 개인화된 임베딩을 사용해 생성된 이미지는, 판타지 스타일이나 꽃다발 같은 스타일에 더 강한 일치도를 보이며, 정성적 분석을 통해 이를 확인했다.
• 이 방법은 CLIP의 텍스트 인코더의 한계로 인해 영향을 거의 받지 않는 단순한 프롬프트 보강(예: 'gloomcore' 또는 'glowwave'를 프롬프트에 추가)보다 뛰어난 성능을 보였다.
• 복잡하고 장문의 설명을 포함한 다양한 프롬프트에 걸쳐도 일관된 스타일 전이가 이루어져, 프롬프트 변형에 대한 강건성을 입증했다.
• 이 방법은 계산적으로 효율적이며, CLIP 텍스트 인코더에 5–20단계의 기울기 단계만 필요로 하며, 확산 모델의 미세조정이 필요로 하거나 모델 가중치를 저장할 필요가 없다.
• 각 미적 기호당 하나의 768차원 벡터를 사용함으로써, 사용자 간에 간편하게 공유되고 확장 가능한 개인화가 가능해졌다.