[논문 리뷰] Generative Adversarial Text to Image Synthesis

Scott Reed, Zeynep Akata외 4명|arXiv (Cornell University)|2016. 05. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 1,424

한 줄 요약

이 논문은 자연어 설명으로 이미지를 생성하는 텍스트 조건 GAN 아키텍처를 소개하며, 새와 꽃에 대해 제로샷 및 정밀한 합성을 보여주고, 매칭 인식 판별기 및 보간 기반 정규화를 제시한다.

ABSTRACT

Automatic synthesis of realistic images from text would be interesting and useful, but current AI systems are still far from this goal. However, in recent years generic and powerful recurrent neural network architectures have been developed to learn discriminative text feature representations. Meanwhile, deep convolutional generative adversarial networks (GANs) have begun to generate highly compelling images of specific categories, such as faces, album covers, and room interiors. In this work, we develop a novel deep architecture and GAN formulation to effectively bridge these advances in text and image model- ing, translating visual concepts from characters to pixels. We demonstrate the capability of our model to generate plausible images of birds and flowers from detailed text descriptions.

연구 동기 및 목표

• 사람이 쓴 설명으로 이미지를 생성하여 텍스트와 이미지 모달리티를 연결한다.
• 이미지 합성을 위한 판별 가능한 특징을 제공하는 텍스트 인코더를 개발한다.
• 텍스트로 조건지어진 GAN 프레임워크를 만들어 그럴듯하고 클래스-일관된 이미지를 생성한다.
• 학습을 안정시키는 훈련 기법으로 텍스트-조건부 이미지 생성의 다중모달리티를 다룬다.

제안 방법

• 하이브리드 문자-레벨 CNN-RNN 인코더로 생성된 텍스트 임베딩에 조건화된 DCGAN 아키텍처를 사용한다.
• 일치하는 이미지, 불일치하는 이미지, 그리고 생성된 쌍을 사용해 텍스트-이미지 적합성도 점수화하는 매칭-인식 판별기(GAN-CLS)를 도입한다.
• 데이터 매니폴드를 커버하도록 텍스트 임베딩 사이를 보간하여 매니폴드 보간 규제항(GAN-INT)을 추가한다.
• 두 가지를 결합해(GAN-INT-CLS) 현실감과 텍스트 정렬을 개선한다.
• 선택적으로 제너레이터를 반전시켜 스타일 인코더를 학습하고 이미지를 제너레이터의 노이즈 벡터로 되돌려 스타일 트랜스퍼를 가능하게 한다.

실험 결과

연구 질문

• RQ1 텍스트-조건 GAN이 새와 꽃과 같은 미세한 범주에서 이미지의 현실감과 텍스트-이미지 정렬을 함께 모델링할 수 있는가?
• RQ2 텍스트 설명을 조건으로 할 때 매칭-인식 판별기가 합성 품질을 향상시키는가?
• RQ3 텍스트 임베딩 공간(매니폴드 보간)에서 보간하는 것이 샘플의 품질과 다양성을 향상시키는가?
• RQ4 제로샷 텍스트-투-이미지 생성과 MS COCO와 같은 다중 객체 장면으로 일반화할 수 있는가?

주요 결과

• 모델은 새와 꽃에 대해 텍스트로 조건지된 그럴듯한 64x64 이미지를 합성할 수 있다.
• GAN-INT 및 GAN-INT-CLS는 기본 GAN 및 GAN-CLS보다 시각적 신뢰성과 캡션 정렬을 크게 향상시킨다.
• 매칭-인식 판별기(GAN-CLS)는 학습을 돕는 명시적인 텍스트-이미지 적합성 신호를 제공한다.
• 텍스트 임베딩 간 보간(GAN-INT)은 데이터 매니폴드를 커버에 도움이 되어 결과를 개선하며 제로샷 범주를 포함한다.
• 이 방법은 다중 물체와 다양한 배경을 가진 MS COCO 이미지에 일반화되어 질적 결과를 보인다.
• 스타일과 콘텐츠의 분리가 가능하여 실제 이미지에서 잠재 스타일을 추론해 스타일 트랜스퍼를 가능하게 한다.