[논문 리뷰] DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis

Tao Ming, Hao Tang외 4명|arXiv (Cornell University)|2020. 08. 13.

Generative Adversarial Networks and Image Synthesis인용 수 26

한 줄 요약

DF-GAN은 다단계 생성자 간의 엔트로피 문제를 해결하기 위해 직접 고해상도 이미지를 생성하는 단단계 텍스트-이미지 합성 프레임워크를 제안한다. 이는 타겟 인식 판별자와 매칭 인식 그래디언트 페널티, 단방향 출력을 통해 추가 네트워크 없이도 텍스트-이미지 일致성을 향상시키며, 깊은 텍스트-이미지 특징 융합을 위한 딥 퓌전 블록을 도입한다. CUB 및 COCO 데이터셋에서 각각 FID 점수 14.81과 15.62로 최신 기술 수준을 달성한다.

ABSTRACT

Synthesizing high-quality realistic images from text descriptions is a challenging task. Existing text-to-image Generative Adversarial Networks generally employ a stacked architecture as the backbone yet still remain three flaws. First, the stacked architecture introduces the entanglements between generators of different image scales. Second, existing studies prefer to apply and fix extra networks in adversarial learning for text-image semantic consistency, which limits the supervision capability of these networks. Third, the cross-modal attention-based text-image fusion that widely adopted by previous works is limited on several special image scales because of the computational cost. To these ends, we propose a simpler but more effective Deep Fusion Generative Adversarial Networks (DF-GAN). To be specific, we propose: (i) a novel one-stage text-to-image backbone that directly synthesizes high-resolution images without entanglements between different generators, (ii) a novel Target-Aware Discriminator composed of Matching-Aware Gradient Penalty and One-Way Output, which enhances the text-image semantic consistency without introducing extra networks, (iii) a novel deep text-image fusion block, which deepens the fusion process to make a full fusion between text and visual features. Compared with current state-of-the-art methods, our proposed DF-GAN is simpler but more efficient to synthesize realistic and text-matching images and achieves better performance on widely used datasets.

연구 동기 및 목표

• 다양한 해상도에서 작동하는 다수의 생성자가 존재하는 쌓인 텍스트-이미지 GAN에서 발생하는 생성자 간 엔트로피 문제를 해결하기 위해.
• DAMSM이나 시아모이 네트워크와 같은 고정된 추가 네트워크에 의존하지 않고도 텍스트-이미지 의미 일치성을 향상시키기 위해.
• 모든 이미지 해상도에서 텍스트와 이미지 특징을 더 깊이 있고 효과적으로 융합하여 생성 품질을 향상시키기 위해.
• 고해상도에서 교차 모odal 어텐션의 계산 부담을 줄이기 위해 경량이고 스택형 구조의 융합 블록으로 대체하기 위해.

제안 방법

• 해상도를 직접 생성하는 단단계 백본을 제안하며 힌지 손실과 잔차 연결 네트워크를 사용하여 다단계 생성자 간의 엔트로피를 방지한다.
• 매칭 인식 그래디언트 페널티(MA-GP)와 단방향 출력을 결합한 타겟 인식 판별자를 도입하여 추가 네트워크 없이도 의미 일치성을 향상시킨다.
• 모든 특징 해상도에서 텍스트와 시각적 특징을 채널 단위로 깊이 있게 융합할 수 있도록 다중 애페인 변환을 포함한 딥 퓌전 블록(DFBlock)을 설계한다.
• MA-GP를 정규화 전략으로 사용하여 실제 이미지 및 텍스트 매칭 이미지 지점에서 기울기가 0이 되도록 유도함으로써 손실 표면을 매끄럽게 하고 생성자 일반화 성능을 향상시킨다.
• MA-GP 하에서 생성자 수렴 속도를 높이기 위해 이중 출력을 단일 출력으로 대체한다.
• 고해상도에서 교차 모달 어텐션의 계산 부담을 줄이기 위해 경량이고 스택형 구조의 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 단단계 생성자 아키텍처가 텍스트-이미지 합성에서 다단계 생성자 간의 엔트로피 문제를 해결할 수 있는가?
• RQ2 MA-GP와 단방향 출력을 갖춘 타겟 인식 판별자가 DAMSM과 같은 추가 네트워크보다 텍스트-이미지 의미 일치성을 강화하는 데 더 우수한가?
• RQ3 스택형 DFBlock을 통해 융합 과정을 깊이 있게 만들면 텍스트 및 이미지 표현 간의 특징 상호작용이 향상되는가?
• RQ4 기준 데이터셋에서 이미지 품질과 의미 정렬 측면에서 최신 기술 수준 모델과 비교해 볼 때 제안된 방법은 어떻게 성능을 내는가?
• RQ5 교차 모달 어텐션을 경량 융합 블록으로 대체할 경우 계산 및 학습 효율성의 상호 교환 관계는 어떠한가?

주요 결과

• DF-GAN은 CUB 데이터셋에서 프리셰트 인ception 거리(FID) 14.81을 달성하여 이전 최신 기술 수준의 방법들을 크게 능가한다.
• COCO 데이터셋에서는 FID 15.62를 기록하여 복잡하고 다양한 이미지-텍스트 쌍에 대한 강력한 일반화 능력을 보여준다.
• 사용자 연구 결과, 의미 일치 점수는 5점 만점에 4.61점으로, 생성된 이미지와 텍스트 기술 간의 강력한 일치를 나타낸다.
• 절단 실험 결과, 단일 스테이지 백본, MA-GP, 단방향 출력의 조합이 가장 높은 IS(5.10)와 가장 낮은 FID(14.81)를 기록함을 확인하였다.
• DFBlock은 CBN, AdaIN, AFFBlock보다 우수한 성능을 보이며, 최고의 IS(5.10)와 FID(14.81)를 기록하여 깊은 융합의 효과를 입증한다.
• OS-B, MA-GP, OW-O를 사용할 경우 기준 모델 대비 FID가 12.32점 감소함으로써 모든 구성 요소의 누적적 이점이 입증되었다.