[논문 리뷰] Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks

Qingrong Cheng, Keyu Wen외 1명|arXiv (Cornell University)|2022. 08. 20.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 생성된 이미지가 텍스트 설명과 실제 이미지 양쪽과의 시각-언어 매칭을 통해 이미지의 현실성과 의미 일致성을 향상시키는 이중 시각-언어 매칭 메커니즘을 사용하는 새로운 텍스트-이미지 합성 프레임워크인 VLMGAN*을 제안한다. 이 방법은 GAN 기반 생성자에 시각-언어 매칭을 통합하여 CUB 및 MSCOCO 데이터셋에서 최신 기술 수준의 성능을 달성하며, 인간의 인지와 더 잘 일치하는 새로운 평가 지표인 VLMS를 통해 텍스트와 이미지 간의 개선된 일致성을 검증한다.

ABSTRACT

Text-to-image synthesis aims to generate a photo-realistic and semantic consistent image from a specific text description. The images synthesized by off-the-shelf models usually contain limited components compared with the corresponding image and text description, which decreases the image quality and the textual-visual consistency. To address this issue, we propose a novel Vision-Language Matching strategy for text-to-image synthesis, named VLMGAN*, which introduces a dual vision-language matching mechanism to strengthen the image quality and semantic consistency. The dual vision-language matching mechanism considers textual-visual matching between the generated image and the corresponding text description, and visual-visual consistent constraints between the synthesized image and the real image. Given a specific text description, VLMGAN* firstly encodes it into textual features and then feeds them to a dual vision-language matching-based generative model to synthesize a photo-realistic and textual semantic consistent image. Besides, the popular evaluation metrics for text-to-image synthesis are borrowed from simple image generation, which mainly evaluates the reality and diversity of the synthesized images. Therefore, we introduce a metric named Vision-Language Matching Score (VLMS) to evaluate the performance of text-to-image synthesis which can consider both the image quality and the semantic consistency between synthesized image and the description. The proposed dual multi-level vision-language matching strategy can be applied to other text-to-image synthesis methods. We implement this strategy on two popular baselines, which are marked with ${ ext{VLMGAN}_{+ ext{AttnGAN}}}$ and ${ ext{VLMGAN}_{+ ext{DFGAN}}}$. The experimental results on two widely-used datasets show that the model achieves significant improvements over other state-of-the-art methods.

연구 동기 및 목표

• 높은 현실성에도 불구하고 세부적인 텍스트 설명과 일치하지 않는 텍스트-이미지 합성에서의 의미 일치성 결여 문제를 해결한다.
• 텍스트-이미지 일치성과 이미지-이미지 일致성 양쪽을 강화하는 이중 다중 수준 시각-언어 매칭 메커니즘을 도입하여 이미지 품질과 텍스트-시각 일치성을 향상시킨다.
• 기존의 GAN 평가 지표들(예: FID, IS)을 초월하여 인간의 인지에 더 잘 부합하는 이미지-텍스트 일치 정도를 반영할 수 있는 새로운 평가 지표인 시각-언어 매칭 스코어(VLMS)를 개발한다.
• 다양한 텍스트 설명과 속성 변화 상황에서도 제안된 방법의 일반화 능력과 강건성을 입증한다.
• 기존의 텍스트-이미지 GAN 기반 모델에 대한 아키텍처 수정 없이도 적용 가능한 플러그인 방식의 이중 매칭 전략을 가능하게 한다.

제안 방법

• 생성된 이미지와 텍스트 설명 간의 시각-언어 일치성과 생성된 이미지와 실제 이미지 간의 시각-시각 일치성을 동시에 강화하는 이중 시각-언어 매칭 메커니즘을 도입한다.
• 이미지와 텍스트에서 다중 수준의 국소적 특징을 추출하기 위해 사전 학습된 시각 및 텍스트 인코더를 사용하여 지역 수준의 정교한 일치를 가능하게 한다.
• 텍스트 임bedding에 조건화된 생성자 네트워크를 설계하여, 적대적 손실과 이중 매칭 손실을 통해 최적화되는 이미지를 합성한다.
• 두 가지 핵심 손실 구성 요소를 정의한다: 생성된 이미지와 실제 이미지 간의 일치를 위해 시각-시각 매칭(VVM) 손실을, 생성된 이미지와 텍스트 설명 간의 일치를 위해 시각-언어 매칭(VLM) 손실을 사용한다.
• 적대적 손실, VVM 손실, VLM 손실을 포함하는 복합 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시키며, 생성자는 이 세 가지 구성 요소를 모두 최소화하도록 한다.
• 이미지-텍스트 임베딩 간의 유사도를 사전 학습된 CLIP 유사 모델을 사용해 비교함으로써 계산되는 새로운 평가 지표인 시각-언어 매칭 스코어(VLMS)를 제안하여 이미지 품질과 의미 일치성을 평가한다.

실험 결과

연구 질문

• RQ1 이중 시각-언어 매칭 메커니즘이 생성된 이미지와 해당 텍스트 설명 간의 의미 일치성에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 생성된 이미지와 실제 이미지 간의 시각-시각 일치성을 강제로 적용하면 텍스트-이미지 합성에서 이미지 품질과 현실성이 더욱 향상되는가?
• RQ3 제안된 시각-언어 매칭 스코어(VLMS)는 기존의 GAN 평가 지표들(예: FID, IS)보다 인간의 인지와 더 잘 일치하는 신뢰할 만한 평가 지표로 기능할 수 있는가?
• RQ4 이중 매칭 전략은 기존의 최신 기술 수준의 텍스트-이미지 GAN 모델에 얼마나 일반화되어 적용될 수 있는가?
• RQ5 텍스트 설명의 핵심 속성이 수정되거나 동일한 설명으로 여러 개의 이미지를 생성할 경우, 이 방법의 강건성은 어느 정도인가?

주요 결과

• ${\text{VLMGAN}_{+\text{AttnGAN}}}$ 모델은 MSCOCO 데이터셋에서 가장 높은 VLMS 스코어를 기록하여 기준 모델인 AttnGAN과 다른 최신 기술 수준의 방법들을 압도한다.
• ${\text{VLMGAN}_{+\text{DFGAN}}}$ 모델은 CUB 데이터셋에서 가장 높은 VLMS 스코어를 기록하여 미세한 이미지-텍스트 일치성에서 뛰어난 성능을 보여준다.
• VLMS 지표는 인간의 인지와 강한 상관관계를 보이며, 시각적 품질이 낮거나 의미 일치성이 결여된 이미지는 유의미하게 낮은 스코어를 받는다.
• 동일한 텍스트 설명으로부터 여러 번의 생성에서도 모델은 높은 일관성을 유지하며, 자세나 스타일의 변동에도 불구하고 새끼의 색상이나 부리 유형 등의 속성이 유지된다.
• 모델은 속성 수정에 잘 일반화되어 있으며, 텍스트에 핵심 속성이 변경되면 생성된 이미지도 이를 적절히 반영함으로써 강건성을 확인한다.
• 훈련 손실 분석 결과 VVM 및 VLM 손실이 안정적으로 수렴하며, 특히 VVM 손실이 더 크게 감소함으로써 효과적인 시각-시각 일치 학습이 이루어지고 있음을 시사한다.