[논문 리뷰] Text to Image Generation with Semantic-Spatial Aware GAN

Kai Hu, Wentong Liao외 2명|arXiv (Cornell University)|2021. 04. 01.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 텍스트 설명과 생성된 이미지 간의 의미적 및 공간적 일치도를 향상시키는 새로운 텍스트-이미지 생성 프레임워크인 의미-공간 인지 GAN(semantic-spatial aware GAN, SSA-GAN)을 제안한다. 학습 가능한 마스크 예측기와 의미 적응형 배치 정규화를 갖춘 의미-공간 인지 컨볼루션 네트워크(SSACN)를 도입함으로써, 텍스트 인코더를 공동 최적화하는 엔드 투 엔드 학습이 가능해졌으며, COCO 및 CUB 데이터셋에서 Inception Score와 Fréchet Inception Distance 모두 최고 성능을 기록하였다.

ABSTRACT

Text-to-image synthesis (T2I) aims to generate photo-realistic images which are semantically consistent with the text descriptions. Existing methods are usually built upon conditional generative adversarial networks (GANs) and initialize an image from noise with sentence embedding, and then refine the features with fine-grained word embedding iteratively. A close inspection of their generated images reveals a major limitation: even though the generated image holistically matches the description, individual image regions or parts of somethings are often not recognizable or consistent with words in the sentence, e.g. "a white crown". To address this problem, we propose a novel framework Semantic-Spatial Aware GAN for synthesizing images from input text. Concretely, we introduce a simple and effective Semantic-Spatial Aware block, which (1) learns semantic-adaptive transformation conditioned on text to effectively fuse text features and image features, and (2) learns a semantic mask in a weakly-supervised way that depends on the current text-image fusion process in order to guide the transformation spatially. Experiments on the challenging COCO and CUB bird datasets demonstrate the advantage of our method over the recent state-of-the-art approaches, regarding both visual fidelity and alignment with input text description.

연구 동기 및 목표

• 기존의 텍스트-이미지 GAN이 텍스트와 이미지 특징을 효과적으로 융합하는 데에 한계가 있음을 해결하고, 특히 의미적 및 공간적 일致성을 유지하는 것을 목표로 한다.
• 학습 중 고정된 텍스트 인코더로 인해 발생하는 열악한 성능을 개선하기 위해, 이미지 생성기와 함께 공동 최적화가 가능한 방법을 제안한다.
• 텍스트 기술의 전반적 및 국소적 의미를 조건으로 삼아 공간적으로 적응형 변환을 학습함으로써 특징 융합을 향상시킨다.
• 텍스트 정보가 이미지 특징에 어디에 삽입되어야 할지를 동적으로 안내하는 약한 지도 학습 기반의 마스크 예측 기반을 개발한다.
• 기본 데이터셋인 COCO 및 CUB에서 이미지 품질과 텍스트-이미지 일치도 측면에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 텍스트 조건에 따른 아핀 변환을 이미지 특징에 적용하기 위해 의미-공간 조건 배치 정규화(SSCBN) 모듈을 통합한 의미-공간 인지 컨볼루션 네트워크(SSACN)를 제안한다.
• 현재 융합 상태에 기반하여 공간적 주의 맵을 생성하는 약한 지도 학습 기반의 마스크 예측기를 도입하여, 텍스트 관련 영역에 더 강한 특징 조절을 보장한다.
• 텍스트와 관련이 없는 영역의 이미지 특징을 유지하기 위해 SSACN에 잔차 블록을 활용하여 특징 변환 중 구조적 통합성을 유지한다.
• 텍스트 인코더와 생성기를 함께 최적화하는 엔드 투 엔드 학습을 통해 텍스트 표현 학습을 향상시킨다.
• 어텐션 메커니즘을 통해 워드 수준 및 문장 수준의 텍스트 특징와 전역 및 국소 이미지 특징을 다중 척도 특징 융합 전략으로 융합한다.
• DAMSM 손실을 사용하여 학습하며, 코사인 유사도와 정규화된 어텐션 가중치를 활용해 이미지 부분 영역과 텍스트 단어 간 매칭 점수를 계산한다.

실험 결과

연구 질문

• RQ1 텍스트 인코더와 이미지 생성기를 엔드 투 엔드로 학습시키면 텍스트-이미지 합성에서 생성된 이미지의 품질과 일치도가 향상되는가?
• RQ2 특징 융합 과정에서 공간적으로 적응형 어텐션 마스크를 학습시키면 텍스트 기술과 생성된 이미지 간의 의미 일致성이 향상되는가?
• RQ3 텍스트 특징에 기반해 조건이 설정된 의미 적응형 배치 정규화 레이어가 표준 또는 전역 CBN 방법보다 특징 융합 성능을 향상시키는가?
• RQ4 기본 기준 데이터셋에서 제안된 방법은 최신 기술 수준의 모델과 비교해 시각적 정밀도와 텍스트-이미지 일치도 측면에서 어떻게 성능을 내는가?
• RQ5 약한 지도 학습 기반의 마스크 예측 모듈이 텍스트 정보를 관련 이미지 영역에 효과적으로 삽입하는 데 기여하는 정도는 어떠한가?

주요 결과

• SSA-GAN은 COCO 데이터셋에서 Fréchet Inception Distance(FID) 13.8을 기록하여 이전 최고 기술 수준의 방법들을 능가하였다.
• CUB 새 데이터셋에서 SSA-GAN은 Inception Score 148.7을 달성하여 뛰어난 이미지 품질과 다양성을 보였다.
• 절단 실험 결과, 의미 적응형 배치 정규화와 마스크 예측 모듈이 모두 텍스트-이미지 일치도 및 시각적 품질 향상에 크게 기여하는 것으로 확인되었다.
• 텍스트 인코더의 공동 학습은 주의 맵 향상과 DAMSM 손실 내 매칭 점수 상승을 통해 더 나은 텍스트 표현 학습이 이루어졌음을 입증하였다.
• 입력 텍스트 기술을 수정함으로써 효과적인 이미지 편집이 가능했으며, 생성된 이미지가 새로운 기술에 대해 의미적 및 공간적으로 적응하였다.
• 제안된 마스크 예측 기반은 텍스트의 의미적 내용과 잘 일치하는 일관성 있는 공간적 주의 맵을 생성하였으며, 새 이미지에서 날개나 눈과 같은 요소를 강조하였다.