[논문 리뷰] Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

Daiqing Li, Aleks Kamko외 4명|arXiv (Cornell University)|2024. 02. 27.

Virtual Reality Applications and Impacts인용 수 4

한 줄 요약

Playground v2.5는 텍스트-이미지 확산 모델의 미적 품질을 향상시키기 위해 세 가지 핵심 통찰을 도입한다: 현실감과 시각적 정밀도를 향상시키기 위해 노이즈 스케줄 최적화, 다양한 종횡비를 지원하기 위해 균형 잡힌 버킷화된 데이터셋 활용, 그리고 인간 중심의 세부 사항을 향한 인간 선호도에 맞추기 위한 보정. 이 모델은 사용자 선호도 및 FID 지표에서 SDXL, Playground v2, DALL·E 3, Midjourney v5.2를 능가하는 최신 기술 수준의 성능을 달성했으며, MJHQ-30K 벤치마크에서 총 FID 점수 4.48을 기록했다.

ABSTRACT

In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.

연구 동기 및 목표

• 기존 오픈소스 및 상용 시스템을 초월하여 텍스트-이미지 확산 모델의 미적 품질을 향상시키는 것.
• 특히 순수한 배경과 생생한 시각적 표현에서의 색상 및 대비 정밀도에 대한 한계를 해결하는 것.
• 구조화된 데이터셋 버킷화를 통해 다양한 종횡비에서의 모델 성능을 향상시키는 것.
• 인간의 인지 선호도에 맞추어 모델 출력을 보정함으로써 인간 중심의 세부 사항 생성 능력을 향상시키는 것.
• 텍스트-이미지 생성에서의 미적 품질을 자동 평가하기 위한 새로운 기준(MJHQ-30K)을 수립하는 것.

제안 방법

• 확산 모델 훈련 중에 노이즈 스케줄 최적화를 통해 현실감과 시각적 정밀도를 향상시키는 것.
• 다양한 종횡비를 포함하는 균형 잡힌 버킷화된 데이터셋을 제작하여 다양한 이미지 치수에서의 일반화 능력을 향상시키는 것.
• 사람의 특징과 세부 사항을 현실적으로 표현하는 프롬프트에 초점을 맞춰 인간 선호도 보정 기법을 적용해 모델을 피지컬 튜닝하는 것.
• Midjourney v5.2에서 유래한 3만 장의 이미지로 구성된 고품질 데이터셋인 MJHQ-30K 벤치마크를 도입하여 평가를 위한 기준을 마련하는 것.
• 10개의 카테고리(사람, 패션 포함)에서 이미지 품질과 일치도를 정량적으로 평가하기 위해 Fréchet Inception Distance(FID)를 사용하는 것.
• 아키텍처 변경을 회피하고, Playground v2에서의 성능 향상을 위해 훈련 레시피 개선에 집중하는 것.

(a) Generating solid backgrounds. The top row is sampled from SDXL [ 28 ] , bottom row is Playground v2.5. SDXL fails to generate pure black or white background while our model can follow the prompt faithfully.

실험 결과

연구 질문

• RQ1 노이즈 스케줄 최적화가 텍스트-이미지 확산 모델의 현실감과 시각적 정밀도에 어떤 영향을 미치는가?
• RQ2 균형 잡힌 버킷화된 데이터셋이 여러 종횡비에서의 생성 품질 향상에 어느 정도 기여하는가?
• RQ3 인간 선호도 보정이 인간 중심의 이미지에서 세부 사항 생성에 어떤 영향을 미치는가?
• RQ4 MJHQ-30K와 같은 자동 벤치마크가 미적 이미지 생성에서 인간 선호도와 신뢰성 있게 관련되는가?
• RQ5 훈련 레시피 구성 요소의 개선이 아키텍처 변경을 초월해 미적 품질 향상에 어느 정도 기여하는가?

주요 결과

• Playground v2.5는 MJHQ-30K 벤치마크에서 총 FID 점수 4.48을 기록하여, SDXL(9.55)과 Playground v2(7.07)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 복잡한 프롬프트나 고르게 된 배경 생성에서 특히 생생한 색상과 대비를 구현하는 데 뛰어난 성능을 보이며, 비교 샘플을 통해 이를 입증했다.
• People-200 프롬프트 세트에서 사용자 선호도 연구에서 SDXL, RealStock v2, Playground v2를 모두 앞서며, 특히 초상화 및 인간 중심의 이미지 생성에서 뛰어난 성능을 보였다.
• 모든 종횡비에서 최신 기술 수준의 성능을 달성했으며, SDXL 및 Playground v2 대비 일관된 성능 향상을 보였다.
• MJHQ-30K 벤치마크는 FID 점수와 인간 선호도 사이에 강한 상관관계를 보이며, 이는 자동 평가 지표로서의 신뢰성을 입증했다.
• DALL·E 3 및 Midjourney v5.2와 같은 비공개 모델을 사용자 선호도 연구에서 뛰어넘으며, 훈련 레시피 개선 전략의 효과성을 입증했다.

(b) Colors and contrast . The top row is SDXL, bottom row is Playground v2.5. Our model can generate samples with more vibrant colors and contrast.