[논문 리뷰] Improving Text-to-Image Synthesis Using Contrastive Learning

Hui Ye, Xiulong Yang외 3명|arXiv (Cornell University)|2021. 07. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 24

한 줄 요약

이 논문은 이미지-텍스트 매칭 및 GAN 훈련 단계에서 의미 일관성을 향상시켜 텍스트-이미지 생성 품질을 향상시키기 위해 대비 학습 프레임워크를 제안한다. 동일한 이미지를 설명하는 다양한 캡션의 텍스트 표현을 정렬하고 생성된 이미지의 분포 변동성을 최소화함으로써, 이 방법은 FID 점수를 COCO 기준 AttnGAN에서 29.60% 향상시키고 DM-GAN에서 21.96% 향상시키며, 다양한 데이터셋에서 IS 및 R-precision도 향상시킨다.

ABSTRACT

The goal of text-to-image synthesis is to generate a visually realistic image that matches a given text description. In practice, the captions annotated by humans for the same image have large variance in terms of contents and the choice of words. The linguistic discrepancy between the captions of the identical image leads to the synthetic images deviating from the ground truth. To address this issue, we propose a contrastive learning approach to improve the quality and enhance the semantic consistency of synthetic images. In the pretraining stage, we utilize the contrastive learning approach to learn the consistent textual representations for the captions corresponding to the same image. Furthermore, in the following stage of GAN training, we employ the contrastive learning method to enhance the consistency between the generated images from the captions related to the same image. We evaluate our approach over two popular text-to-image synthesis models, AttnGAN and DM-GAN, on datasets CUB and COCO, respectively. Experimental results have shown that our approach can effectively improve the quality of synthetic images in terms of three metrics: IS, FID and R-precision. Especially, on the challenging COCO dataset, our approach boosts the FID signifcantly by 29.60% over AttnGAN and by 21.96% over DM-GAN.

연구 동기 및 목표

• 동일한 이미지를 둘 이상의 인간 레이블 캡션으로 기술할 때 발생하는 언어적 변동성이 이미지 생성 품질에 악영향을 미치는 문제를 해결한다.
• 다양한 캡션에 걸쳐 강건하고 불변하는 표현을 학습함으로써 텍스트-이미지 생성의 의미 일관성을 향상시킨다.
• GAN 훈련 중 대비 학습을 적용하여 생성된 이미지의 정밀도와 다양성을 향상시킨다.
• AttnGAN 및 DM-GAN과 같은 기존의 GAN 기반 텍스트-이미지 생성 모델과 호환 가능한 방법으로 일반화한다.
• CUB 및 COCO 데이터셋에서 여러 지표(IS, FID, R-precision)에 걸쳐 일관된 성능 향상을 입증한다.

제안 방법

• 동일한 이미지를 설명하는 여러 캡션의 임베딩을 정렬하기 위해 대비 손실을 사용하여 이미지 및 텍스트 인코더를 사전 훈련한다.
• 실제 이미지의 의미적으로 관련된 캡션으로부터 생성된 가짜 이미지 표현들을 서로 가까이 모으기 위해 대비 학습을 적용한다.
• 동일한 이미지에 대한 표본 간 변동성을 최소화하고 다른 이미지 간에는 최대화하기 위해 대비 손실을 GAN 훈련 파이프라인에 통합한다.
• 학습 안정성 향상과 표현 품질 향상을 위해 가속화된 온도 조정 대비 손실을 사용하며, 학습 가능한 초매개변수 λc 및 τ를 활용한다.
• GAN 훈련 중 사전 훈련된 이미지 및 텍스트 인코더를 활용하여 일관된 특징을 추출함으로써 텍스트와 생성된 이미지 특징 간의 정렬을 향상시킨다.
• AttnGAN 및 DM-GAN과 같은 기존 모델에 아키텍처 변경 없이 즉시 통합 가능한 플러그 앤 플레이 방식으로 방법을 일반화한다.

실험 결과

연구 질문

• RQ1 대비 학습이 캡션의 언어적 변동성이 텍스트-이미지 생성 품질에 미치는 영향을 줄일 수 있는가?
• RQ2 이미지-텍스트 쌍과 생성된 이미지 쌍에 대한 병렬 대비 학습이 합성 과정에서 의미 일관성을 어떻게 향상시키는가?
• RQ3 제안된 방법은 AttnGAN 및 DM-GAN과 같은 강력한 기준 모델에 비해 FID, IS, R-precision를 어느 정도 향상시키는가?
• RQ4 대비 손실의 초매개변수인 λc 및 τ에 대한 성능 민감도는 어떠한가?
• RQ5 제안된 대비 학습 프레임워크는 기존의 GAN 기반 텍스트-이미지 생성 모델에 효과적으로 일반화되고 통합될 수 있는가?

주요 결과

• COCO 데이터셋에서 제안된 방법은 AttnGAN 대비 FID를 29.60% 향상시키고, DM-GAN 대비 21.96% 향상시키며, 뚜렷한 성능 향상을 보였다.
• 두 대비 학습 단계를 모두 적용할 경우 CUB에서 R-precision이 2.25 포인트, COCO에서 1.58 포인트 향상되었다.
• CUB에서 기존 DM-GAN 기반 기준 모델의 FID 점수 15.55가 전반적인 대비 학습 방법을 적용한 후 14.38로 향상되어, 다양한 지표에서 일관된 향상이 확인되었다.
• 초매개변수 λc는 FID에 미미한 영향을 미치며, λc = 0.2일 때 최고 성능(FID = 16.34)을 기록했고, τ는 작은 영향을 미치지만 측정 가능한 영향이 있었으며, τ = 0.5일 때 FID가 가장 낮았다.
• 대부분의 설정에서 IS는 유지되거나 약간 향상되었으며, COCO에서 DM-GAN을 사용할 경우 단지 0.55포인트의 감소만 있었고, 다양성에 대한 상당한 트레이드오프가 없음을 시사했다.
• 제거 실험 결과, 이미지-텍스트 매칭 단계와 GAN 훈련 단계에서의 대비 학습이 최적 성능을 내기 위해 모두 필요하며, 각 단계에서 점진적인 성능 향상이 관찰되었다.