[논문 리뷰] Leveraging Visual Question Answering to Improve Text-to-Image Synthesis

Stanislav Frolov, Shailza Jolly외 2명|arXiv (Cornell University)|2020. 10. 28.

Multimodal Machine Learning Applications참고 문헌 31인용 수 7

한 줄 요약

이 논문은 VQA 2.0 데이터셋에서 유래한 시각적 질의 응답(VQA) 데이터를 활용하여 텍스트-이미지(T2I) 합성 성능을 향상시키는 방법을 제안한다. 질문-답변(QA) 쌍을 추가 학습 입력으로 결합하고, 사전 훈련된 VQA 모델을 사용해 보조 손실을 제공함으로써 이미지의 현실성과 텍스트-이미지 일치도를 향상시킨다. 이로 인해 FID는 27.84에서 25.38로 감소하고, R-prec.는 83.82%에서 84.79%로 상승한다.

ABSTRACT

Generating images from textual descriptions has recently attracted a lot of interest. While current models can generate photo-realistic images of individual objects such as birds and human faces, synthesising images with multiple objects is still very difficult. In this paper, we propose an effective way to combine Text-to-Image (T2I) synthesis with Visual Question Answering (VQA) to improve the image quality and image-text alignment of generated images by leveraging the VQA 2.0 dataset. We create additional training samples by concatenating question and answer (QA) pairs and employ a standard VQA model to provide the T2I model with an auxiliary learning signal. We encourage images generated from QA pairs to look realistic and additionally minimize an external VQA loss. Our method lowers the FID from 27.84 to 25.38 and increases the R-prec. from 83.82% to 84.79% when compared to the baseline, which indicates that T2I synthesis can successfully be improved using a standard VQA model.

연구 동기 및 목표

• 다중 객체 시나리오에서 여전히 도전적인 텍스트-이미지 생성 이미지의 현실성과 의미적 일치도를 향상시키기.
• 현재 T2I 모델이 다중 객체를 포함한 복잡한 기술적 묘사에서 사진 수준의 현실감 있는 이미지를 생성하는 데에 한계가 있음을 해결하기.
• 표준 캡션 외에도 풍부하고 다양한 세부 정보를 제공하는 VQA 2.0 데이터셋의 강력한 감독 신호를 활용해 훈련 신호를 강화하기.
• 보조 VQA 감독 신호가 복잡한 아키텍처 수정 없이도 이미지 품질과 일치도를 향상시킬 수 있는지 탐색하기.
• 표준 사전 훈련된 VQA 모델을 T2I 훈련 중 외부 손실 신호로 사용할 경우의 효과성 조사하기.

제안 방법

• VQA 2.0 데이터셋의 질문-답변(QA) 쌍을 결합하여 T2I 모델의 추가 학습 샘플을 생성하기.
• AttnGAN 아키텍처를 확장하여 생성된 이미지를 처리할 수 있는 별도의 브랜치로 VQA 모델을 통합하기.
• 생성된 이미지가 현실적이기만 하지 않고 QA 입력과 의미적으로 일치하는지도 보장하기 위해 외부 VQA 손실을 도입하기.
• 표준 AttnGAN 손실(대립적 손실 및 DAMSM)과 QA 쌍에서 생성된 이미지에 대한 VQA 손실을 함께 최적화할 수 있도록 훈련 목표를 수정하기.
• 판별기로부터의 대립적 손실과 이미지-텍스트 일치도를 위한 DAMSM 손실을 최소화하는 동시에, VQA 손실도 최소화하도록 생성기 훈련하기.
• 사전 훈련된 VQA 모델을 사용해 QA 쌍에서 생성된 이미지에 대한 VQA 손실을 계산함으로써, 세밀한 시각적 기반을 장려하는 보조 신호 제공하기.

실험 결과

연구 질문

• RQ1 VQA 2.0 QA 쌍을 추가 학습 입력으로 활용할 경우, 텍스트-이미지 생성 이미지의 현실성과 일치도 향상이 가능한가?
• RQ2 T2I 훈련 목표에 외부 VQA 손실을 추가하면 표준 T2I 훈련 대비 더 나은 이미지 품질과 의미 일致성 확보가 가능한가?
• RQ3 QA 쌍에서 생성된 이미지가 VQA 모델에 대해 실질적으로 답할 수 있고 동시에 현실적인지를 요구할 경우 T2I 모델의 성능은 어떻게 변화하는가?
• RQ4 복잡한 아키텍처 수정 없이도 표준 사전 훈련된 VQA 모델을 단순 통합함으로써 FID와 R-prec. 향상이 가능한가?
• RQ5 VQA 2.0에 포함된 다양한 QA 쌍, 특히 상호 보완적인 이미지-답변 쌍의 다양성이 모델이 세밀한 세부 사항에 주의를 기울이는 데에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 Fréchet Inception Distance(FID)를 27.84에서 25.38로 감소시켜 이미지 품질과 다양성 향상이 뚜렷하게 이루어졌음을 나타낸다.
• R-prec. 지표는 83.82%에서 84.79%로 상승하여 생성된 이미지와 입력 기술 간의 의미적 일치도 향상이 확인되었다.
• QA 쌍에서 생성된 이미지에 대해 VQA 정확도가 43.00%에서 43.75%로 향상되어 이미지가 더 의미적으로 기반을 두고 있고 답변 가능하다는 것이 확인되었다.
• 전체 목표 함수에 재가중 없이 외부 VQA 손실만 단순히 추가할 경우 성능 저하가 발생함을 확인하여 균형 잡힌 최적화의 필요성을 시사한다.
• 대립적 현실성, 이미지-텍스트 일치도(DAMSM), VQA 일致성 모두를 함께 최적화할 때 가장 우수한 성능을 기록하였다.
• 심지어 표준 사전 훈련된 VQA 모델이라도 AttnGAN과 같은 강력한 T2I 백본과 통합될 경우 효과적인 감독을 제공할 수 있음을 보여주었다.