[논문 리뷰] Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks

Satya Krishna Gorti, Jeremy Ma|arXiv (Cornell University)|2018. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 23

한 줄 요약

이 논문은 GAN을 사용하여 이미지의 품질과 텍스트 설명과의 일치도를 향상시키기 위해 사이클 일관성 있는 텍스트-이미지-텍스트 번역 프레임워크를 제안한다. 생성된 이미지에서 캡션 네트워크를 훈련하고 진짜 캡션과 생성된 캡션 간의 차이를 최소화함으로써, 이 방법은 모드 붕괴를 감소시키고 의미 정확도를 향상시킨다. 사이클 일관성으로 인해 0.802의 색상 관련도 점수와 향상된 인ception 점수를 달성한다.

ABSTRACT

Text-to-Image translation has been an active area of research in the recent past. The ability for a network to learn the meaning of a sentence and generate an accurate image that depicts the sentence shows ability of the model to think more like humans. Popular methods on text to image translation make use of Generative Adversarial Networks (GANs) to generate high quality images based on text input, but the generated images don't always reflect the meaning of the sentence given to the model as input. We address this issue by using a captioning network to caption on generated images and exploit the distance between ground truth captions and generated captions to improve the network further. We show extensive comparisons between our method and existing methods.

연구 동기 및 목표

• 생성된 이미지가 입력 텍스트 설명을 정확히 반영하지 못하는 문제를 해결하기 위해.
• 사이클 일관성 훈련 신호를 도입하여 GAN 기반 이미지 생성에서의 모드 붕괴를 완화하기 위해.
• 이미지 캡션을 피드백 메커니즘으로 활용하여 생성된 이미지와 텍스트 간의 일치도를 향상시키기 위해.
• 사이클 일관성이 이미지 품질과 의미 관련성 향상에 어떻게 기여하는지 평가하기 위해.

제안 방법

• 프레임워크는 이중 단계 GAN 아키텍처를 사용한다: 제1단계는 텍스트 임베딩에서 64x64 이미지를 생성하고, 제2단계는 이를 128x128 고해상도 이미지로 개선한다.
• 별도의 이미지 캡션 GAN을 생성된 이미지에서 캡션을 생성하도록 훈련시키며, 텍스트 임베딩에 Skip-Thought Vectors를 사용한다.
• 진짜 캡션과 모델이 자체 생성한 이미지에서 생성된 캡션 간의 거리 차이를 최소화함으로써 사이클 일관성을 강제한다.
• 이미지 합성 및 캡션 네트워크를 사이클 일관성 손실을 통해 종합적으로 훈련시켜 일치도와 다양성을 향상시킨다.
• Adam 옵timizer(β₁=0.5, β₂=0.999)를 사용한 적대적 훈련, 100D 가우시안 노이즈 벡터, 2400D Skip-Thought 임베딩을 적용한다.
• 다른 실험에서 캡션 네트워크의 가중치를 고정하여 사이클 손실이 이미지 생성에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 이미지 캡션을 통한 사이클 일관성이 생성된 이미지와 입력 텍스트 설명 간의 의미 일치도를 향상시키는가?
• RQ2 사이클 일관성을 강제하면 텍스트-이미지 GAN에서의 모드 붕괴가 감소하는가?
• RQ3 캡션 피드백이 이미지 품질과 색상 정확도에 얼마나 기여하는가?
• RQ4 사이클 일관성의 포함 여부가 인ception 점수와 색상 관련도와 같은 정량적 지표에 어떻게 영향을 미치는가?

주요 결과

• 사이클 일관성이 있는 모델은 사이클 손실이 없는 경우보다 색상 관련도 점수 0.802를 기록하여 색상 정확도 향상이 뚜렷하게 나타났다.
• 사이클 일관성이 있는 경우 인ception 점수는 2.985에서 2.545로 감소하여 다양성과 품질 사이의 트레이드오���이 있음을 시사하지만, 정성적 결과에서는 더 나은 일치도를 보였다.
• 사이클 일관성은 모드 붕괴를 감소시켜 사이클 손실이 없는 기준 모델 대비 더 다양한 이미지를 생성했다.
• 추론 중 캡션 네트워크의 가중치를 고정한 결과, 사이클 손실이 캡션 네트워크가 고정되어 있어도 이미지 생성을 향상시킴을 확인했다.
• 정성적 결과에서는 사이클 일관성 훈련이 입력 텍스트의 의미적 내용(예: 꽃잎의 색상과 형태)을 더 잘 반영하는 이미지를 생성하는 것으로 나타났다.
• 이 방법은 텍스트-이미지-텍스트 시스템의 엔드 투 엔드 훈련을 성공적으로 가능하게 하여, 캡션을 피드백 신호로 사용할 수 있음을 보여주었다.