[논문 리뷰] Cycle Text-To-Image GAN with BERT

Trevor Tsue, Samir Sen외 1명|arXiv (Cornell University)|2020. 03. 26.

Multimodal Machine Learning Applications참고 문헌 14인용 수 7

한 줄 요약

이 논문은 BERT 임베딩과 순환 학습 메커니즘을 통합한 사이클 텍스트-이미지 GAN을 제안하여 텍스트 기반 이미지 생성을 향상시킨다. 텍스트-이미지 및 이미지-텍스트 생성을 함께 학습하고, 맥락 기반 BERT 단어 표현을 사용함으로써 모델은 우수한 이미지 품질과 다양성을 달성하며, 100 에포크에서 Inception Score(5.92 대 3.92)와 인간 평가(MOS 3.9 대 3.6) 모두에서 AttnGAN 기준선을 능가한다.

ABSTRACT

We explore novel approaches to the task of image generation from their respective captions, building on state-of-the-art GAN architectures. Particularly, we baseline our models with the Attention-based GANs that learn attention mappings from words to image features. To better capture the features of the descriptions, we then built a novel cyclic design that learns an inverse function to maps the image back to original caption. Additionally, we incorporated recently developed BERT pretrained word embeddings as our initial text featurizer and observe a noticeable improvement in qualitative and quantitative performance compared to the Attention GAN baseline.

연구 동기 및 목표

• GAN 기반 모델의 도메인 갭 문제와 다양성 부족을 해결하여 텍스트-이미지 생성을 향상시키기 위해.
• 이미지-텍스트 재구성 학습을 수행하는 순환 아키텍처를 도입하여 이미지-텍스트 정렬을 향상시키기 위해.
• 텍스트 기반 설명의 의미적 표현을 향상시키기 위해 BERT에서 유도된 맥락 기반 단어 임베딩을 활용하기 위해.
• BERT와 순환 학습의 영향을 이미지 품질, 다양성, 캡션에 대한 대응성 측면에서 평가하기 위해.
• 정량적 및 정성적 지표를 사용하여 제안된 모델을 AttnGAN 기준선과 비교하기 위해.

제안 방법

• 일관성을 강화하기 위해 텍스트-이미지 생성자와 이미지-텍스트 판별자를 함께 학습하는 사이클 GAN 아키텍처를 채택한다.
• 원래 캡션을 생성된 이미지로부터 재구성하는 순환 손실을 도입하여 텍스트와 이미지 특성 간의 정렬을 향상시킨다.
• AttnGAN의 표준 단어 임베딩 레이어를 더 풍부한 의미적 표현을 제공하는 BERT 기반 맥락 기반 임베딩으로 대체한다.
• 두 단계로 구성된 스택드 GAN 프레임워크를 사용한다: 제1단계는 저해상도 이미지 특징을 생성하고, 제2단계는 주의 메커니즘을 사용해 이를 정밀하게 보정한다.
• 이미지 합성 과정에서 관련 단어에 집중하기 위해 생성자 내에서 단어 수준 특징에 대해 곱셈 주의를 적용한다.
• 이미지 품질과 다양성의 정량적 평가 및 인간 평가를 위해 Inception Score와 평균 의견 점수(MOS)를 사용한다.

실험 결과

연구 질문

• RQ1 비맥락 기반 임베딩 대비 BERT 임베딩을 통합할 경우 텍스트-이미지 생성의 품질과 다양성이 향상되는가?
• RQ2 이미지-텍스트 재구성 기능을 포함하는 순환 학습 메커니즘이 이미지-텍스트 정렬 및 생성 성능을 향상시킬 수 있는가?
• RQ3 BERT와 순환 학습의 조합이 수렴 속도와 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 모델이 정량적 지표와 인간 평가 모두에서 AttnGAN 기준선을 어느 정도 능가하는가?
• RQ5 BERT 임베딩과 순환 아키텍처 중 어느 것이 전체 성능 향상에 더 큰 기여를 하는가?

주요 결과

• BERT 임베딩을 통합한 사이클 GAN은 100 에포크에서 Inception Score 5.92를 기록하여 동일한 에포크에서 AttnGAN 기준선(3.92)을 크게 능가했다.
• 50 에포크에서 사이클 GAN은 Inception Score 5.48을 기록했고, AttnGAN은 2.78이었으며, 이는 더 빠르고 효과적인 학습을 의미한다.
• 인간 평가 결과, 사이클 GAN은 MOS 3.9를 기록했고, AttnGAN은 3.6이었으며, 이는 시각적으로 더 나은 이미지 품질을 의미한다.
• 시각적 점검 결과, 사이클 GAN은 더 선명하고 현실적인 이미지를 생성했으며, 색상 정확도와 더불어 부리 구조와 같은 세부 사항까지 더 잘 구현했다.
• 더 높은 MOS와 생성된 이미지에서 의미적 속성의 더 나은 재구성으로 인해 이미지-텍스트 대응성이 향상된 것으로 나타났다.
• Inception Score는 100 에포크가 넘도록 계속 증가하고 안정화되며, 이는 더 긴 학습 기간이 모델 성능에 유리하며 아직 수렴하지 않았음을 시사한다.