[논문 리뷰] A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis

Jorge Agnese, Jonathan Herrera외 2명|arXiv (Cornell University)|2019. 10. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 70인용 수 9

한 줄 요약

이 논문은 텍스트에서 이미지로의 합성에 사용되는 생성 적대 신경망(GAN)에 대한 종합적인 서베이와 분류 체계를 제시한다. 최신 기술 모델들을 세분화하여 의미 강화, 해상도 강화, 다양성 강화, 동작 강화 GAN으로 분류한다. StackGAN, AttnGAN, HDGAN 등의 주요 아키텍처를 검토하여 자연어 기술서로부터 고해상도, 사진처럼 현실적인 이미지를 생성할 수 있음을 입증한다. 이는 의미적 일치도와 시각적 품질 향상에 기여한다.

ABSTRACT

Text-to-image synthesis refers to computational methods which translate human written textual descriptions, in the form of keywords or sentences, into images with similar semantic meaning to the text. In earlier research, image synthesis relied mainly on word to image correlation analysis combined with supervised methods to find best alignment of the visual content matching to the text. Recent progress in deep learning (DL) has brought a new set of unsupervised deep learning methods, particularly deep generative models which are able to generate realistic visual images using suitably trained neural network models. In this paper, we review the most recent development in the text-to-image synthesis research domain. Our survey first introduces image synthesis and its challenges, and then reviews key concepts such as generative adversarial networks (GANs) and deep convolutional encoder-decoder neural networks (DCNN). After that, we propose a taxonomy to summarize GAN based text-to-image synthesis into four major categories: Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANS, and Motion Enhancement GANs. We elaborate the main objective of each group, and further review typical GAN architectures in each group. The taxonomy and the review outline the techniques and the evolution of different approaches, and eventually provide a clear roadmap to summarize the list of contemporaneous solutions that utilize GANs and DCNNs to generate enthralling results in categories such as human faces, birds, flowers, room interiors, object reconstruction from edge maps (games) etc. The survey will conclude with a comparison of the proposed solutions, challenges that remain unresolved, and future developments in the text-to-image synthesis domain.

연구 동기 및 목표

• 생성 적대 신경망을 활용한 텍스트에서 이미지로의 합성 분야에서 최근의 발전을 체계적으로 검토하기 위해.
• 자연어 기술서로부터 사진처럼 현실적인 이미지를 생성하는 데 있어 핵심적인 과제를 특정하고 분류하기 위해.
• 세분화된 네 가지 유형(의미, 해상도, 다양성, 동작 강화)으로 구성된 새로운 분류 체계를 제안하기 위해.
• 기준 데이터셋에서 아키텍처, 설계, 성능 측면에서 최신 기술 모델들을 비교하기 위해.
• 딥 생성 모델을 활용한 텍스트에서 이미지로의 합성 분야에서의 열린 과제와 향후 연구 방향을 제시하기 위해.

제안 방법

• 세분화된 네 가지 유형(의미 강화, 해상도 강화, 다양성 강화, 동작 강화)으로 구성된 GAN 기반 텍스트에서 이미지로의 합성에 대한 분류 체계를 제안한다.
• 생성 적대 신경망(GAN), 심층 컨volution형 인코더-디코더 네트워크(DCNN), 주의 메커니즘 등 주요 딥 러닝 구성 요소를 검토한다.
• StackGAN, StackGAN++, AttnGAN, HDGAN, TAC-GAN 등의 대표적 모델을 분석하여 아키텍처 혁신과 학습 전략에 초점을 맞춘다.
• 특정 조건 하에서 이미지를 생성하기 위해 텍스트 기술서를 잠재 벡터로 매핑하기 위해 특징 임bedding 함수(예: φ())를 활용한다.
• CUB, LSUN, COCO 등의 데이터셋에서 모델 성능을 비교하기 위해 Inception Score(IS)와 Fréchet Inception Distance(FID)와 같은 평가 지표를 사용한다.
• 새로운 이미지 카테고리(새, 꽃, 인간 얼굴, 실내 풍경 등)에 걸쳐 정성적 예시와 정량적 점수를 통해 모델을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 GAN 아키텍처는 텍스트 기술서와 생성된 이미지 간의 의미적 일치도를 어떻게 향상시키는가?
• RQ2 어떤 아키텍처 혁신이 텍스트에서 이미지로의 합성에서 더 높은 해상도와 선명한 이미지 생성을 가능하게 하는가?
• RQ3 다양성 향상 기법은 모드 붕괴를 방지하고 샘플의 다양성을 어떻게 향상시키는가?
• RQ4 주의 메커니즘과 다중 척도 특징 학습은 생성 품질 향상에 어떤 역할을 하는가?
• RQ5 자연어 기술서로부터 사진처럼 현실적인 이미지를 생성하는 데 있어 핵심적인 제약과 해결되지 않은 과제는 무엇인가?

주요 결과

• StackGAN++는 CUB 데이터셋에서 Inception Score(IS) 32.64를 기록하여 이전 모델인 StackGAN(IS: 23.98)보다 뚜렷이 뛰어난 성능을 보였다.
• AttnGAN은 CUB 데이터셋에서 Inception Score 35.49를 기록하여 주의 메커니즘이 텍스트와 이미지 특징 간의 일치도 향상에 효과적임을 입증했다.
• HDGAN은 CUB 데이터셋에서 Inception Score 31.06, LSUN-Bedrooms 데이터셋에서 12.04를 기록하여 복잡한 장면 생성에서 뛰어난 성능을 보였다.
• 제안된 분류 체계는 주로 설계 목적이 다른 다양한 GAN 기반 접근 방식을 효과적으로 정리하여 진화적 관계와 기술적 동기를 명확히 했다.
• AttnGAN 및 TAC-GAN과 같은 모델들은 특정 텍스트 어휘에 더 잘 집중함으로써 생성된 이미지에서 시각적 특징의 정확한 국소화를 향상시켰다.
• 다시 말해, 진행된 연구에도 불구하고 256×256 픽셀을 초월하는 고해상도 이미지 생성 문제와 생성 결과 간의 일관된 색상 및 구조적 일관성 확보 문제는 여전히 남아 있다.