[논문 리뷰] Text to Image Synthesis Using Generative Adversarial Networks

Cristian Bodnar|arXiv (Cornell University)|2018. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 30

한 줄 요약

이 논문은 텍스트-이미지 합성에서 안정적인 훈련을 위해 워샤르스타인 거리(Wasserstein distance)를 사용하는 조건부 생성 적대적 네트워크인 Wasserstein GAN-CLS를 제안한다. 프로그레시브 그로잉 GAN 아키텍처에 이 손실 함수를 통합함으로써, Caltech-10k Birds 데이터셋에서 이전 문장 수준의 의미 모델보다 인셉션 스코어(Inception Score)가 7.07% 향상되었으며, 어텐션 기반 AttnGAN을 제외한 기존 방법들을 능가한다.

ABSTRACT

Generating images from natural language is one of the primary applications of recent conditional generative models. Besides testing our ability to model conditional, highly dimensional distributions, text to image synthesis has many exciting and practical applications such as photo editing or computer-aided content creation. Recent progress has been made using Generative Adversarial Networks (GANs). This material starts with a gentle introduction to these topics and discusses the existent state of the art models. Moreover, I propose Wasserstein GAN-CLS, a new model for conditional image generation based on the Wasserstein distance which offers guarantees of stability. Then, I show how the novel loss function of Wasserstein GAN-CLS can be used in a Conditional Progressive Growing GAN. In combination with the proposed loss, the model boosts by 7.07% the best Inception Score (on the Caltech birds dataset) of the models which use only the sentence-level visual semantics. The only model which performs better than the Conditional Wasserstein Progressive Growing GAN is the recently proposed AttnGAN which uses word-level visual semantics as well.

연구 동기 및 목표

• 조건부 GAN의 훈련 불안정성을 더 안정적인 손실 함수를 통해 해결한다.
• 조건부 생성 모델을 사용하여 텍스트 설명과 생성된 이미지 간의 일치도를 향상시키고 이미지 품질을 개선한다.
• 특히 복잡한 데이터셋인 Caltech-10k Birds와 같은 세분화된 이미지 생성 작업에서 성능을 향상시킨다.
• 워샤르스타인 GAN 손실을 프로그레시브 그로잉 프레임워크에 통합하여 고해상도 이미지 생성의 안정성을 향상시킨다.
• 문장 수준의 의미 모델링이 안정적인 훈련 목표와 결합될 경우 상태최저 성능에 근접한 강력한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 워샤르스타인 거리(Wasserstein distance)를 사용하여 비평가(critic)에 리프시츠 조건을 강제함으로써 훈련을 안정화하는 조건부 GAN의 변종인 Wasserstein GAN-CLS를 제안한다.
• 비평가를 실제 이미지와 해당 텍스트 임베딩에 조건부로 설정하여 텍스트-이미지 매칭에 워샤르스타인 GAN 손실을 적응적으로 적용한다.
• Wasserstein GAN-CLS 손실을 프로그레시브 그로잉 GAN(PGGAN) 아키텍처에 통합하여 저해상도에서 고해상도로 단계별로 모델을 훈련시킨다.
• 고해상도에서 배치 크기 제한 문제를 완화하기 위해 생성자에 레이어 정규화를 적용하여 훈련 안정성을 향상시킨다.
• 특정 하이퍼파ram터(β1 = 0, β2 = 0.99 for Wasserstein; β1 = 0.5, β2 = 0.9 for least squares)를 사용하는 Adam 옵티마이저와 기울기 페널티(λ = 150)를 적용하여 리프시츠 조건을 강제한다.
• ρ = 8로 설정된 기울기 페널티(WGAN-GP 방식)를 적용하여 비평가가 1-리프시츠 성질을 유지하도록 하여 훈련 안정성과 모드 커버리지 향상

실험 결과

연구 질문

• RQ1 표준 GAN과 비교해 워샤르스타인 GAN 손실이 조건부 텍스트-이미지 합성에서 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 워샤르스타인 GAN-CLS 손실을 프로그레시브 그로잉 GAN 아키텍처에 통합할 경우, 세분화된 데이터셋에서 이미지 품질과 다양성 향상에 어느 정도 영향을 미치는가?
• RQ3 단지 문장 수준의 시각적 의미를 사용하는 모델의 성능은 워드 수준 어텐션을 사용하는 최신 기술 대비 어떻게 비교되는가?
• RQ4 워샤르스타인 GAN-CLS와 같은 안정된 손실 함수의 사용이 고해상도 이미지 생성에서 더 나은 수렴과 높은 인셉션 스코어를 가능하게 하는가?
• RQ5 프로그레시브 그로잉과 워샤르스타인 훈련의 조합이 모드 붕괴를 완화하고 생성 이미지의 정밀도와 다양성 향상에 기여하는가?

주요 결과

• 조건부 워샤르스타인 프로그레시브 그로잉 GAN(CWPGGAN)은 64×64 해상도의 Caltech-10k Birds 데이터셋에서 인셉션 스코어 88.72를 달성하여, 이전에 문장 수준의 의미만을 사용한 최고 성능 모델보다 7.07% 향상되었다.
• CWPGGAN은 문장 수준의 시각적 의미만을 사용하는 다른 모든 모델보다 뛰어나지만, 워드 수준 어텐션을 사용하는 AttnGAN을 제외한 한에서 가장 높은 성능을 기록했다.
• 모델은 텍스트 설명과 잘 일치하는 고해상도의 다양하고 정밀한 이미지를 생성하며, 정성적 비교와 최근접 이웃 분석을 통해 이를 확인할 수 있었다.
• 모델의 잠재 공간 내에서의 보간은 의미적으로 유의미한 전이를 생성하여, 분리된 표현과 부드러운 표현을 나타낸다.
• 레이어 정규화와 안정된 손실 함수의 사용 덕분에 고해상도(256×256)에서 효과적인 훈련이 가능해졌으며, 이는 작은 배치 크기로 인해 기존 배치 정규화가 실패할 수 있는 상황에서 특히 유의미하다.
• 인셉션 스코어 결과는 CWPGGAN이 베이스라인 모델보다 더 잘 일반화되었으며, 특히 세분화된 복잡한 데이터셋에서 클래스 다양성과 이미지 품질 향상이 뚜렷하게 나타났다.