[논문 리뷰] DF-GAN: Deep Fusion Generative Adversarial Networks for Text-to-Image Synthesis

Ming Tao, Hao Tang외 4명|arXiv (Cornell University)|2020. 08. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 115

한 줄 요약

DF-GAN은 단일 생성자-판별자 쌍, 의미 일관성을 위한 매칭 인식형 제로 중심 그래디언트 페널티, 깊은 다중모달 특징 융합을 위한 딥 텍스트-이미지 융합 블록을 사용하는 간소화된 엔드 투 엔드 텍스트-이미지 합성 프레임워크를 제안한다. 이 모델은 CUB-200 및 COCO에서 더 높은 효율성과 이미지 품질을 기반으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Synthesizing high-resolution realistic images from text descriptions is a challenging task. Almost all existing text-to-image methods employ stacked generative adversarial networks as the backbone, utilize cross-modal attention mechanisms to fuse text and image features, and use extra networks to ensure text-image semantic consistency. The existing text-to-image models have three problems: 1) For the backbone, there are multiple generators and discriminators stacked for generating different scales of images making the training process slow and inefficient. 2) For semantic consistency, the existing models employ extra networks to ensure the semantic consistency increasing the training complexity and bringing an additional computational cost. 3) For the text-image feature fusion method, cross-modal attention is only applied a few times during the generation process due to its computational cost impeding fusing the text and image features deeply. To solve these limitations, we propose 1) a novel simplified text-to-image backbone which is able to synthesize high-quality images directly by one pair of generator and discriminator, 2) a novel regularization method called Matching-Aware zero-centered Gradient Penalty which promotes the generator to synthesize more realistic and text-image semantic consistent images without introducing extra networks, 3) a novel fusion module called Deep Text-Image Fusion Block which can exploit the semantics of text descriptions effectively and fuse text and image features deeply during the generation process. Compared with the previous text-to-image models, our DF-GAN is simpler and more efficient and achieves better performance. Extensive experiments and ablation studies on both Caltech-UCSD Birds 200 and COCO datasets demonstrate the superiority of the proposed model in comparison to state-of-the-art models.

연구 동기 및 목표

• 다양한 이미지 해상도에 대해 복수의 생성자-판별자 쌍을 사용하는 기존 텍스트-이미지 모델에서 스택형 GAN 아키텍처의 비효율성을 해결한다.
• 텍스트-이미지 의미 일관성을 강제하기 위해 추가 네트워크가 필요 없도록 하여 학습 복잡성과 계산 비용을 감소시킨다.
• 교차 모달 어텐션의 계산 제약을 극복함으로써 텍스트와 이미지 특징의 더 깊고 효과적인 융합을 가능하게 한다.
• 고해상도와 의미 일치를 유지하는 통합적이고 효율적이며 고성능의 텍스트-이미지 생성 프레임워크를 개발한다.

제안 방법

• 스택형 아키텍처를 대체하기 위해 단일 생성자-판별자 쌍을 사용하는 간소화된 백본을 도입하여 학습 효율성 향상과 복잡성 감소를 달성한다.
• 추가 네트워크가 필요 없이 생성자가 현실적이면서도 텍스트 프롬프트와 의미적으로 일치하는 이미지를 생성하도록 정규화하는 매칭 인식형 제로 중심 그래디언트 페널티를 제안한다.
• 생성 과정 全 주기 동안 지속적인 깊은 텍스트-이미지 특징 융합을 가능하게 하는 딥 텍스트-이미지 융합 블록을 설계하여 의미 이해력과 특징 상호작용을 향상시킨다.
• 제안된 그래디언트 페널티와 융합 메커니즘을 통해 이미지 품질과 텍스트-이미지 일치도를 동시에 최적화하는 통합 학습 목표를 적용한다.
• 진행적 성장이나 다단계 정밀화가 필요 없는 단일 단계 학습 파이프라인을 활용하여 학습 과정을 단순화한다.
• 융합 블록 내에서 어텐션 메커니즘을 활용하지만, 이전 방법보다 더 집중적이고 효율적으로 적용하여 더 깊은 다중모달 특징 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스택형 GAN 아키텍처를 대체하기 위해 단일 생성자-판별자 쌍이 텍스트-이미지 합성에서 이미지 품질과 학습 효율성을 유지하거나 향상시킬 수 있는가?
• RQ2 추가 네트워크 없이도 텍스트와 생성된 이미지 간의 의미 일관성을 강제로 유도할 수 있으며, 그 정규화 방법의 효과는 어떠한가?
• RQ3 새로운 융합 블록을 통해 텍스트와 이미지 특징을 깊이 있고 지속적으로 융합하면 흐린 어텐션 메커니즘 대비 더 나은 의미 일치도와 이미지 품질을 달성할 수 있는가?
• RQ4 기본 데이터셋에서 FID, IS 및 인간 평가 측면에서 제안된 프레임워크는 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• DF-GAN은 CUB-200 및 COCO 데이터셋 모두에서 최신 기술 수준의 프리에치 인ception 거리(FID) 점수를 달성하여 뛰어난 이미지 품질을 입증한다.
• CUB-200 데이터셋에서 이전 방법보다 낮은 FID 점수를 기록하여 생성된 이미지의 현실성과 다양성이 향상됨을 시사한다.
• 제안된 매칭 인식형 제로 중심 그래디언트 페널티는 추가 파rameter나 네트워크 없이도 효과적으로 텍스트-이미지 의미 일관성을 향상시킨다.
• 제거 분석 결과, 딥 텍스트-이미지 융합 블록이 특징 상호작용을 크게 향상시키며, 제한된 어텐션 융합을 가진 모델 대비 더 나은 생성 품질을 이끌어낸다.
• 단일 생성자-판별자 쌍을 사용하는 통합 학습 파이프라인은 스택형 GAN 접근 방식 대비 학습 시간과 계산 비용을 줄인다.
• 자동 평가 지표와 정성적 평가 모두에서 기존 방법을 능가하며, 생성된 이미지가 높은 해상도와 정확한 텍스트 기반 기술과의 일치를 보여준다.