[논문 리뷰] DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis

Minfeng Zhu, Pingbo Pan외 2명|arXiv (Cornell University)|2019. 04. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 45

한 줄 요약

DM-GAN은 메모리 쓰기 게이트와 응답 게이트를 갖춘 동적 메모리 모듈을 도입하여 초기 저품질 이미지를 텍스트 조건의 고해상도 이미지로 다듬고, CUB 및 COCO 데이터셋에서 기존 방법을 능가합니다.

ABSTRACT

In this paper, we focus on generating realistic images from text descriptions. Current methods first generate an initial image with rough shape and color, and then refine the initial image to a high-resolution one. Most existing text-to-image synthesis methods have two main problems. (1) These methods depend heavily on the quality of the initial images. If the initial image is not well initialized, the following processes can hardly refine the image to a satisfactory quality. (2) Each word contributes a different level of importance when depicting different image contents, however, unchanged text representation is used in existing image refinement processes. In this paper, we propose the Dynamic Memory Generative Adversarial Network (DM-GAN) to generate high-quality images. The proposed method introduces a dynamic memory module to refine fuzzy image contents, when the initial images are not well generated. A memory writing gate is designed to select the important text information based on the initial image content, which enables our method to accurately generate images from the text description. We also utilize a response gate to adaptively fuse the information read from the memories and the image features. We evaluate the DM-GAN model on the Caltech-UCSD Birds 200 dataset and the Microsoft Common Objects in Context dataset. Experimental results demonstrate that our DM-GAN model performs favorably against the state-of-the-art approaches.

연구 동기 및 목표

• 다중 단계 텍스트-이미지 합성에서 초기 이미지 품질에 대한 의존성을 해결한다.
• 정제 과정에서 자막 내 단어의 중요도가 다르게 나타나는 것을 다룬다.
• 관련 텍스트를 메모리에 기록하고 이를 읽어 이미지를 다듬는 동적 메모리 모듈을 제안한다.

제안 방법

• 표준 생성기를 이용하여 텍스트로부터 초기 이미지를 생성한다.
• 키-값 메모리를 갖춘 동적 메모리 정제 단계를 적용한다: 메모리 쓰기 게이트를 통해 단어를 메모리에 기록한다.
• 키 어드레싱과 값 읽기를 사용하여 메모리에서 읽어 메모리 출력을 얻는다.
• 적응형 정제를 위해 응답 게이트를 통해 메모리 출력을 이미지 특성과 융합한다.
• 적대적 손실, 조건화 증강 손실, DAMSM 손실로 학습한다.
• 메모리 제약으로 인해 제한된 정제 반복에서 64x64를 128x128 및 256x256으로 업스케일하여 사용한다.

실험 결과

연구 질문

• RQ1 초기 이미지 품질이 낮을 때 동적 메모리가 텍스트 조건 이미지 정제의 충실도를 어떻게 향상시킬 수 있는가?
• RQ2 정제 중 단어 수준의 중요성을 텍스트 설명에 더 잘 맞도록 적응적으로 선택할 수 있는가?
• RQ3 메모리 기반 정제 단계를 통합하는 것이 텍스트-이미지 합성의 표준 지표를 개선하는가?
• RQ4 메모리 쓰기 게이트와 응답 게이트가 최종 이미지 품질에 미치는 영향은 무엇인가?

주요 결과

• DM-GAN은 CUB와 COCO에서 이전 방법들보다 더 높은 Inception 점수를 달성한다( CUB: 4.75 vs 4.36; COCO: 30.49 vs 25.89 ).
• DM-GAN은 AttnGAN에 비해 FID를 감소시킨다 (CUB: 16.09 vs 23.98; COCO: 32.64 vs 35.49).
• DM-GAN은 AttnGAN에 비해 R-정밀도를 향상시킨다 (CUB: 72.31 vs 67.82; COCO: 88.56 vs 85.47).
• 제거 실험에서 동적 메모리, 메모리 쓰기 게이트, 응답 게이트 각각이 성능 향상에 기여하는 것이 나타났다.
• 정성적 결과는 더 생생한 디테일과 더 나은 글로벌 구조를 보이며, 특히 다중 주제 설명에서 그렇다.