[논문 리뷰] MirrorGAN: Learning Text-to-image Generation by Redescription

Tingting Qiao, Jing Zhang외 2명|arXiv (Cornell University)|2019. 03. 14.

Multimodal Machine Learning Applications참고 문헌 42인용 수 72

한 줄 요약

MirrorGAN은 텍스트-이미지-텍스트 프레임워크(STEM, GLAM, STREAM)를 글로벌-로컬 어텐션과 재구성 손실로 도입하여 텍스트와 생성된 이미지 간의 의미적 일관성을 향상시키고, CUB와 COCO에서 최첨단 성능을 달성한다.

ABSTRACT

Generating an image from a given text description has two goals: visual realism and semantic consistency. Although significant progress has been made in generating high-quality and visually realistic images using generative adversarial networks, guaranteeing semantic consistency between the text description and visual content remains very challenging. In this paper, we address this problem by proposing a novel global-local attentive and semantic-preserving text-to-image-to-text framework called MirrorGAN. MirrorGAN exploits the idea of learning text-to-image generation by redescription and consists of three modules: a semantic text embedding module (STEM), a global-local collaborative attentive module for cascaded image generation (GLAM), and a semantic text regeneration and alignment module (STREAM). STEM generates word- and sentence-level embeddings. GLAM has a cascaded architecture for generating target images from coarse to fine scales, leveraging both local word attention and global sentence attention to progressively enhance the diversity and semantic consistency of the generated images. STREAM seeks to regenerate the text description from the generated image, which semantically aligns with the given text description. Thorough experiments on two public benchmark datasets demonstrate the superiority of MirrorGAN over other representative state-of-the-art methods.

연구 동기 및 목표

• 시각적 현실감과 텍스트-의미적 일관성 사이의 격차를 T2I 생성에서 해결한다.
• 입력 텍스트와 정렬되도록 이미지 재서술을 강제하는 이중 규제 아이디어를 활용한다.
• 교차모달 의미 정렬을 개선하기 위한 통합 T2I–I2T 프레임워크를 제안한다.
• 계단식 생성기 내에 글로벌-로컬 협업 주의 메커니즘을 도입한다.
• CE 기반 텍스트-의미 재구성 손실로 학습을 정규화한다.]
• method: [
• Introduce STEM to obtain word- and sentence-level text embeddings, with conditioning augmentation.
• Use GLAM as a cascaded multi-stage generator with global-local attention that combines Attn_w (word) and Attn_s (sentence) at each stage.
• Incorporate STREAM to regenerate a text description from the generated image and align semantics via a cross-entropy loss.
• Train with two adversarial losses: visual realism and text-image paired semantic consistency, plus a CE-based text-semantics reconstruction loss (L_stream).
• Optimize generators across stages with an objective that sums stage losses and L_stream, while discriminators learn to distinguish real/fake images and semantic consistency.

제안 방법

• 조건화 증강을 포함하여 단어 및 문장 수준의 텍스트 임베딩을 얻기 위해 STEM을 도입한다.
• 각 단계에서 Attn_w(단어)와 Attn_s(문장)을 결합하는 글로벌-로컬 어텐션을 갖는 계단식 다단 생성기로 GLAM을 사용한다.
• 생성된 이미지로부터 텍스트 설명을 재생성하고 교차 엔트로피 손실을 통해 의미를 정렬하기 위해 STREAM을 도입한다.
• 시각적 현실감과 텍스트-이미지 쌍의 의미 일관성의 두 가지 적대적 손실과 더불어 CE 기반 텍스트-의미 재구성 손실(L_stream)을 사용하여 학습한다.
• 단계 간 손실과 L_stream의 합으로 목표를 설정하여 생성기를 최적화하고, 판별기는 실제/가짜 이미지를 구분하고 의미 일관성을 학습한다.

실험 결과

연구 질문

• RQ1 입력 설명과의 의미적 일치를 보장하기 위해 역 텍스트 생성을( I2T ) 강제하는 것이 텍스트-이미지 모델의 이익으로 작용할 수 있는가?
• RQ2 글로벌-로컬 어텐션 cascading이 단어 수준의 주의만으로는 얻을 수 없는 의미 일관성과 다양성을 향상시키는가?
• RQ3 교차 모달 재구성 손실이 이미지 현실감을 해치지 않으면서 의미 정렬을 향상시키는가?
• RQ4 STREAM과 GLAM의 통합이 표준 T2I 벤치마크에서 미치는 영향은 무엇인가?
• RQ5 Inception Score와 R-precision 측면에서 MirrorGAN이 CUB 및 COCO에서 최첨단 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

모델	CUB_Inception	COCO_Inception	CUB_R1	CUB_R2	CUB_R3	COCO_R1	COCO_R2	COCO_R3
GAN-INT-CLS	2.88 ±0.04	7.88 ±0.07	53.31	54.11	54.36	72.13	73.21	76.53
GAWWN	3.62 ±0.07	-	-	-	-	-	-	-
StackGAN	3.70 ±0.04	8.45 ±0.03	-	-	-	-	-	-
StackGAN++	3.82 ±0.06	-	-	-	-	-	-	-
PPGN	-	9.58 ±0.21	-	-	-	-	-	-
AttnGAN	4.36 ±0.03	25.89 ±0.47	-	-	-	-	-	-
MirrorGAN	4.56 ±0.05	26.47 ±0.41	-	-	-	-	-	-
MirrorGAN (combined)	-	-	-	-	-	-	-	-

• MirrorGAN은 CUB와 COCO 모두에서 최첨단 방법보다 높은 Inception Score를 달성한다 (CUB: 4.56; COCO: 26.47).
• MirrorGAN은 두 데이터세트에서 Top-1, Top-2, Top-3 설정에서 AttnGAN을 R-precision으로 능가한다 (CUB: 57.67/58.52/60.42; COCO: 74.52/76.87/80.21).
• STREAM과 GLAM의 도입은 단어 주의 기반선 및 기존 방법 대비 큰 향상을 가져와 새롭게 최첨단 결과를 확립한다.
• 절제 실험은 손실 가중치 lambda를 증가시키면 Inception Score와 R-precision이 모두 향상되며, lambda=20이 COCO에서 강력한 성과를 제공한다 (Inception 26.47; R-precision 74.52).
• 정성적 및 인간 지각 연구는 MirrorGAN이 AttnGAN보다 더 의미적으로 일관되고 진정한 이미지를 생성하며 입력 설명과의 정렬도 더 우수하다는 것을 시사한다.