[논문 리뷰] MC-GAN: Multi-conditional Generative Adversarial Network for Image Synthesis

Hyojin Park, Youngjoon Yoo외 1명|arXiv (Cornell University)|2018. 05. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 47

한 줄 요약

MC-GAN은 텍스트로 설명된 전경 객체를 특정 위치에 생성하면서 배경은 기본 이미지에서 보존하고, 전경과 배경을 분리하는 새로운 합성 블록을 사용한다.

ABSTRACT

In this paper, we introduce a new method for generating an object image from text attributes on a desired location, when the base image is given. One step further to the existing studies on text-to-image generation mainly focusing on the object's appearance, the proposed method aims to generate an object image preserving the given background information, which is the first attempt in this field. To tackle the problem, we propose a multi-conditional GAN (MC-GAN) which controls both the object and background information jointly. As a core component of MC-GAN, we propose a synthesis block which disentangles the object and background information in the training stage. This block enables MC-GAN to generate a realistic object image with the desired background by controlling the amount of the background information from the given base image using the foreground information from the text attributes. From the experiments with Caltech-200 bird and Oxford-102 flower datasets, we show that our model is able to generate photo-realistic images with a resolution of 128 x 128. The source code of MC-GAN is released.

연구 동기 및 목표

• 새로운 다중 모달 조건 합성 문제를 기본 이미지, 텍스트, 위치를 사용하여 정의한다.
• 학습 중 전경과 배경을 분리하는 합성 블록으로 MC-GAN을 개발한다.
• 새로운 배경 위에 주어진 배경에서 물새 및 꽃 데이터셋을 대상으로 사진처럼 현실적인 객체 생성을 시연한다.

제안 방법

• 텍스트를 임베딩으로 인코딩하고 노이즈 벡터와 결합하여 시드 특징 맵을 형성한다.
• 배경 정보를 전경 특징으로 게이트하는 합성 블록을 사용하여 이미지와 분할 마스크를 생성한다.
• 이미지, 마스크, 텍스트를 평가하는 다중 입력 디스크리미네이터를 실제/가짜 및 매칭/매칭되지 않음 조건으로 학습한다.
• 훈련 안정화 및 배경 보존을 위해 conditioning augmentation 및 배경 재구성 손실을 적용한다.
• 필요에 따라 StackGAN 스타일의 2단계 생성기로 확장하여 128×128의 고해상도 결과를 얻는다.

실험 결과

연구 질문

• RQ1 GAN이 지정 위치에 텍스트로 설명된 객체를 생성하면서 기본 이미지의 배경을 보존할 수 있는가?
• RQ2 합성 블록 아키텍처가 다중 모달 이미지 합성에서 전경과 배경을 효과적으로 분리하는가?
• RQ3 MC-GAN이 배경 무결성을 유지하면서 전경 객체를 추가하는 면에서 기존 다중 모달 베이스라인과 비교했을 때 어떤 차이가 있는가?
• RQ4 conditioning augmentation 및 배경 재구성 손실이 훈련 안정성 및 출력 품질에 미치는 영향은?

주요 결과

• MC-GAN은 텍스트로 설명된 전경 객체를 가진 128×128 이미지를 주어진 배경에서 생성할 수 있다.
• 합성 블록은 스위치 메커니즘으로 배경 정보를 차단하여 객체-배경 중첩을 방지하고 현실감을 유지한다.
• MC-GAN은 대상 객체와 유사한 객체가 기본 이미지에 없더라도 배경 디테일을 유지한다.
• 기본 다중 모달 방법과 비교했을 때 MC-GAN은 배경 정보를 더 잘 보존하고 그럴듯한 객체 질감과 포즈를 제공한다.
• 모델은 텍스트와 노이즈 공간에서 보간을 지원하여 생성 이미지에 다양한 점진적 변화를 만들어낸다.