[논문 리뷰] Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors

Oran Gafni, Adam Polyak외 4명|arXiv (Cornell University)|2022. 03. 24.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 세분화 토큰을 통해 시나리오 사전 지식을 통합하고, 얼굴과 주목할 만한 물체에 대해 인간의 인지 인식을 반영한 손실을 적용하며, 분류기 자유 가이던스를 트랜스포머에 적응시켜 제어력과 이미지 품질을 햖스하는 텍스트-이미지 생성 모델인 Make-A-Scene을 소개한다. 이 방법은 512×512 해상도에서 최신 기준 FID(4.69)와 인간 선호도 점수를 달성하여, 시나리오 편집, 앵커 시나리오를 활용한 텍스트 편집, 스토리 일러스트레이션 생성과 같은 고급 기능을 가능하게 한다.

ABSTRACT

Recent text-to-image generation methods provide a simple yet exciting conversion capability between text and image domains. While these methods have incrementally improved the generated image fidelity and text relevancy, several pivotal gaps remain unanswered, limiting applicability and quality. We propose a novel text-to-image method that addresses these gaps by (i) enabling a simple control mechanism complementary to text in the form of a scene, (ii) introducing elements that substantially improve the tokenization process by employing domain-specific knowledge over key image regions (faces and salient objects), and (iii) adapting classifier-free guidance for the transformer use case. Our model achieves state-of-the-art FID and human evaluation results, unlocking the ability to generate high fidelity images in a resolution of 512x512 pixels, significantly improving visual quality. Through scene controllability, we introduce several new capabilities: (i) Scene editing, (ii) text editing with anchor scenes, (iii) overcoming out-of-distribution text prompts, and (iv) story illustration generation, as demonstrated in the story we wrote.

연구 동기 및 목표

• 텍스트만 입력으로 사용하는 텍스트-이미지 생성에서의 제어력 부족 문제를 해결하기 위해, 사용자가 이미지의 구조나 레이아웃에 미치는 영향을 제한한다.
• 특히 얼굴과 주목할 만한 물체에 대해 인간의 인지 사전 지식을 통합하여 256×256 해상도를 초월한 이미지 품질과 해상도를 향상시킨다.
• 시나리오 기반 조건부 처리를 통해 시나리오 편집, 앵커 시나리오를 활용한 텍스트 편집, 스토리 일러스트레이션 생성과 같은 새로운 창의적 기능을 가능하게 한다.
• 후처리 필터링에 대한 의존도를 줄이기 위해 분류기 자유 가이던스를 트랜스포머 기반 순차적 모델에 직접 통합한다.

제안 방법

• 모델은 텍스트, 이미지, 시나리오 토큰을 동시에 생성하는 순차적 트랜스포머를 사용하며, 시나리오 토큰은 세분화 맵에서 유도되어 암시적 조건부 처리를 제공한다.
• 시나리오 토큰은 모델이 생성하거나 입력 스케치에서 추출할 수 있어, 세분화와 이미지 생성 간의 엄격한 정렬을 요구하지 않으면서도 탄력적인 제어를 가능하게 한다.
• 이미지 토큰과 시나리오 토큰을 인코딩하고 디코딩하기 위해 두 가지 수정된 벡터 양자화 변동 자동부호화기(VQ-VAEs)를 사용하며, 인간의 인지에 부합하도록 얼굴과 주목할 만한 물체에 특화된 손실을 적용한다.
• 특성 매칭을 활용하는 물체 인식 및 얼굴 인식 손실을 도입하여 시각적으로 중요한 영역에 중점을 두어 시각적 정밀도를 향상시킨다.
• 분류기 자유 가이던스를 트랜스포머 기반 모델에 적응시켜, 후처리 단계에서의 이미지 순위 매기기 필요성을 제거하고 생성 품질을 향상시킨다.
• 텍스트 전용 생성, 시나리오 조건부 생성, 시나리오 편집, 앵커 시나리오를 활용한 텍스트 편집 등 다양한 제어 모드를 지원한다.

실험 결과

연구 질문

• RQ1 텍스트 외에 시나리오 기반 조건부 처리가 텍스트 전용 입력을 초월해 구조적 일관성과 제어력을 향상시키는가?
• RQ2 특히 얼굴과 주목할 만한 물체에 대해 인간의 인지 사전 지식을 통합할 경우, 이미지 품질과 인간 선호도에 어떤 영향을 미치는가?
• RQ3 트랜스포머 기반 순차적 모델이 시각적 정밀도 향상과 잡음 감소를 통해 512×512 해상도에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 시나리오 제어가 시나리오 편집, 이방성 생성, 스토리 일러스트레이션 생성과 같은 새로운 기능을 얼마나 잘 가능하게 하는가?
• RQ5 분류기 자유 가이던스를 트랜스포머에 적응시킬 경우, 후처리 없이도 생성 품질이 향상되는가?

주요 결과

• 시나리오 입력과 분류기 자유 가이던스를 함께 사용할 경우, 모델은 최신 기준 FID 4.69를 달성하여 이전 방법들을 크게 앞서간다.
• 인간 선호도 평가 결과, 물체 인식 학습을 적용한 512×512 모델은 이미지 품질에 대해 76.8%의 유리도를 보이며, 해상도가 낮거나 인지 사전 지식이 없는 모델들을 능가한다.
• 시나리오 토큰의 포함으로 기반 모델 대비 이미지 현실감(65.3%)과 텍스트 일치도(58.3%)가 향상되었다.
• 얼굴 인식 학습을 통해 FID는 18.01에서 14.45로 감소했고, 이미지 품질에 대한 인간 선호도는 63.6%로 상승했다.
• 분류기 자유 가이던스만으로도 FID는 7.55로 감소했고, 현실감과 일치도에 대한 선호도는 66.8%로 상승했다.
• 모델은 시나리오 편집(예: 하늘을 바다로 변경)과 앵커 시나리오를 활용한 텍스트 편집과 같은 새로운 기능을 가능하게 하여, 더 높은 일관성과 창의적 제어력을 입증했다.