[논문 리뷰] AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

Tao Xu, Pengchuan Zhang외 5명|arXiv (Cornell University)|2017. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 158

한 줄 요약

AttnGAN은 텍스트로부터 미세한 이미지 생성을 위한 주의적 다단계 GAN을 도입하고, DAMSM을 사용하여 미세한 이미지-텍스트 매칭을 달성하여 CUB 및 COCO에서 최첨단 결과를 달성합니다.

ABSTRACT

In this paper, we propose an Attentional Generative Adversarial Network (AttnGAN) that allows attention-driven, multi-stage refinement for fine-grained text-to-image generation. With a novel attentional generative network, the AttnGAN can synthesize fine-grained details at different subregions of the image by paying attentions to the relevant words in the natural language description. In addition, a deep attentional multimodal similarity model is proposed to compute a fine-grained image-text matching loss for training the generator. The proposed AttnGAN significantly outperforms the previous state of the art, boosting the best reported inception score by 14.14% on the CUB dataset and 170.25% on the more challenging COCO dataset. A detailed analysis is also performed by visualizing the attention layers of the AttnGAN. It for the first time shows that the layered attentional GAN is able to automatically select the condition at the word level for generating different parts of the image.

연구 동기 및 목표

• 자연어 설명으로부터 미세한 이미지 합성의 동기를 제시합니다.
• 여러 단계에 걸쳐 이미지를 다듬기 위해 주의 기능이 있는 GAN을 개발합니다.
• 세밀한 이미지-텍스트 매칭을 위한 Deep Attentional Multimodal Similarity Model(DAMSM)을 도입합니다.
• 표준 데이터셋에서 기존의 최첨단 텍스트-이미지 모델과 AttnGAN을 비교 평가합니다.
• 생성 과정에서 단어 수준의 조건화를 이해하기 위한 주의 시각화를 분석합니다.

제안 방법

• 단어 수준의 주의로 부분 영역을 조건화하여 점진적으로 더 높은 해상도의 이미지를 생성하는 다중 생성기를 갖춘 Attentional Generative Network를 제안합니다.
• 각 이미지 하위 영역이 관련 단어 벡터를 검색하여 생성을 위한 다중 모달 맥락을 형성하도록 주의 메커니즘을 통합합니다.
• 생성기를 이중 대립적 손실과 DAMSM 손실과 결합합니다; 대립적 손실은 무조건적 및 조건적(텍스트-마콘) 구성 요소를 포함합니다.
• DAMSM을 사용하여 이미지 하위 영역을 해당 단어와 정렬시키는 미세한 이미지-텍스트 매칭 손실을 계산합니다.
• 텍스트를 양방향 LSTM으로 인코딩하여 단어 벡터와 글로벌 문장 벡터를 얻고, CNN(Inception-v3 기반) 인코더를 통해 이미지 하위 영역을 공통 의미 공간으로 매핑합니다.
• GAN 손실과 LAMSM 손실의 균형을 맞춰 단어 수준의 정렬을 촉진하고 모드 붕괴를 줄이도록 모델을 학습합니다.

실험 결과

연구 질문

• RQ1 주의 기반의 다단계 정제가 전 세계적 문장 조건화보다 텍스트로부터 더 높은 품질의 미세한 이미지를 생성할 수 있는가?
• RQ2 깊은 주의형 다중 모달 유사성 모델이 미세한 이미지-텍스트 매칭 손실을 제공함으로써 학습을 향상시키는가?
• RQ3 AttnGAN은 세부적이고 다중 객체 데이터셋(CUB 및 COCO)에서 기존 GAN 모델과 비교하여 어떻게 성능을 내는가?
• RQ4 생성 중 주의 맵을 시각화하면 어떤 통찰을 얻을 수 있는가?

주요 결과

• AttnGAN은 CUB 및 COCO에서 기존 모델에 비해 초기 점수(Inception 점수)를 크게 향상시키며, CUB에서 4.36에 도달하고 COCO에서 최대 25.89까지의 값을 보고된 설정에서 얻습니다.
• 레이어드 주의는 하위 영역의 단어 수준 조건화를 가능하게 하여 생성된 이미지의 미세한 세부 정보를 향상시킵니다.
• 주의 단계를 쌓아 올리면(AttnGAN2) 단일 단계 설정보다 더 높은 해상도 출력(최대 256x256)과 더 나은 점수를 얻습니다.
• DAMSM은 R-precision(이미지-텍스트 매칭)과 Inception 점수를 크게 향상시키며, 일반적으로 더 큰 람다 값이 두 메트릭을 모두 향상시키는 경향이 있습니다.
• 정성적 분석은 주의가 의미론적으로 관련된 단어에 하위 영역을 집중하는 경향을 보이며, 주의 단어가 바뀌면 의미 있는 변화가 나타납니다.