[논문 리뷰] StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks

Han Zhang, Tao Xu외 5명|arXiv (Cornell University)|2016. 12. 09.

Generative Adversarial Networks and Image Synthesis인용 수 227

한 줄 요약

StackGAN은 Stage-I(스케치)와 Stage-II(정제) GAN으로 작업을 분해하여 텍스트로부터 256x256 사진 실사 이미지를 생성하며, 다양성과 안정성을 향상시키기 위한 Conditioning Augmentation을 사용합니다.

ABSTRACT

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing text-to-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256x256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

연구 동기 및 목표

• 텍스트 설명으로부터 고해상도, 사진 실사 이미지를 생성하는 데 어려움을 동기 부여하고 해결한다.
• 세부 묘사와 충실도를 향상시키기 위해 텍스트-이미지 합성을 두 가지 관리 가능한 단계로 나눈다.
• Conditioning Augmentation(CA)을 통해 훈련을 안정시키고 다양성을 증가시킨다.
• 표준 데이터셋에서 기존 텍스트-이미지 방법에 비해 정량적 및 정성적 개선을 입증한다.

제안 방법

• 텍스트로 조건화된 저해상도 스케치를 생성하는 Stage-I 아키텍처를 제안한다.
• Stage-II는 Stage-I의 출력을 다듬고 텍스트와 Stage-I 결과에 조건화되어 고해상도 이미지를 생성한다.
• 텍스트 임베딩으로 매개변수화된 가우시안에서 확률적 조건 변수를 샘플링하는 Conditioning Augmentation을 도입하고 KL-발산 정규화항을 더한다.
• 두 단계에 걸쳐 이미지와 텍스트 설명 사이를 더 잘 맞추도록 매칭-인식 구분자를 사용한다.
• Stage-I 및 Stage-II에 대한 단계적 적대적 손실로 학습하고, ADAM 및 표준 GAN 학습 절차를 사용한다.

실험 결과

연구 질문

• RQ1 두 단계로 구성된 GAN 프레임워크가 단일 단계 접근법보다 텍스트를 조건으로 하여 더 높은 해상도와 더 현실적인 이미지를 생성할 수 있는가?
• RQ2 Conditioning Augmentation이 텍스트-이미지 합성에서 조건부 GAN의 다양성과 훈련 안정성을 개선하는가?
• RQ3 Stage-II 정제가 Stage-I의 결함을 어떻게 보정하고 텍스트 일관성 있는 세부 정보를 추가하여 256x256의 리얼리즘을 달성하는가?

주요 결과

• StackGAN은 텍스트 설명에 조건된 256x256 사진 실사 이미지를 달성하고 여러 데이터셋에서 최첨단 방법을 능가한다.
• conditioning augmentation은 훈련 안정성과 샘플 다양성을 향상시키며, 더 높은 인셉션 점수와 다양한 출력으로 입증된다.
• Stage-II 정제는 텍스트와 일치하는 세부 정보를 추가하고 Stage-I 결함을 수정하여 이미지 품질을 지속적으로 개선한다.
• 인셉션 점수와 인간 평가에서 StackGAN은 CUB, Oxford-102, COCO에서 GAN-INT-CLS 및 GAWWN보다 우수하다.
• Stage-I 만으로는 그럴듯한 고해상도 이미지를 생성하기 어렵고, StackGAN의 두 단계 설계가 우수한 결과를 낳는다.