[논문 리뷰] Generate the corresponding Image from Text Description using Modified GAN-CLS Algorithm

Fuzhou Gong, Zigeng Xia|arXiv (Cornell University)|2018. 06. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 4

한 줄 요약

이 논문은 원래 GAN-CLS 목적 함수의 이론적 결함을 수정하여 생성자가 진정한 데이터 분포를 학습하도록 보장하는 수정된 GAN-CLS 알고리즘을 제안한다. 옥스포드-102 및 CUB 데이터셋에서의 실험 결과, 수정된 모델은 특히 부리 모양과 색상 패턴과 같은 세부 사항을 더 잘 포착하여 더 현실적이고 텍스트에 잘 맞는 이미지를 생성한다.

ABSTRACT

Synthesizing images or texts automatically is a useful research area in the artificial intelligence nowadays. Generative adversarial networks (GANs), which are proposed by Goodfellow in 2014, make this task to be done more efficiently by using deep neural networks. We consider generating corresponding images from an input text description using a GAN. In this paper, we analyze the GAN-CLS algorithm, which is a kind of advanced method of GAN proposed by Scott Reed in 2016. First, we find the problem with this algorithm through inference. Then we correct the GAN-CLS algorithm according to the inference by modifying the objective function of the model. Finally, we do the experiments on the Oxford-102 dataset and the CUB dataset. As a result, our modified algorithm can generate images which are more plausible than the GAN-CLS algorithm in some cases. Also, some of the generated images match the input texts better.

연구 동기 및 목표

• 원래 GAN-CLS 알고리즘에서 최적의 생성자가 진정한 데이터 분포와 일치하지 않는 이론적 모순을 해결한다.
• GAN-CLS의 목적 함수를 수정하여 수렴 시 생성자 출력이 데이터 분포와 일치하도록 보장한다.
• 텍스트-이미지 생성 작업에서 더 높은 이미지 품질과 텍스트-이미지 정합성을 보여준다.
• 표준 벤치마크인 옥스포드-102 및 CUB 데이터셋에서 수정된 알고리즘을 검증한다.
• 예를 들어, 이미지-텍스트 쌍의 분포가 일치하지 않을 경우와 같은 분포 이탈 상황에서 모델의 강건성을 조사한다.

제안 방법

• 이론적 분석을 통해 GAN-CLS 목적 함수의 결함을 규명하여, 최적의 생성자 분포가 데이터 분포와 일치하지 않음을 입증한다.
• 수렴 시 생성자가 진정한 데이터 분포와 일치하도록 보장하는 보정된 목적 함수를 유도하며, 이는 수렴 시 $ f_g(y) = f_d(y) $ 를 의미한다.
• 일치하지 않는 이미지-텍스트 쌍의 기여도를 조정하여 GAN-CLS 손실을 수정함으로써 생성자의 출력이 데이터 분포와 일치하도록 유도한다.
• 이미지-텍스트 임베딩을 위해 사전 학습된 텍스트 인코더를 사용하는 조건부 GAN 프레임워크로 수정된 GAN-CLS 모델을 훈련한다.
• 일치하는 쌍, 생성된 쌍, 일치하지 않는 쌍을 모두 평가하는 판별자 구조를 사용하며, 각각 실존 일치 쌍, 생성된 쌍, 일치하지 않는 쌍에 대한 손실 성분을 포함한다.
• 옥스포드-102 및 CUB 데이터셋에 수정된 알고리즘을 적용하여 표준 평가 프로토콜을 사용하고 원래 GAN-CLS와의 정성적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 GAN-CLS 알고리즘이 진정한 데이터 분포를 가진 생성자로 수렴하는가?
• RQ2 GAN-CLS에서 분포 불일치의 이론적 원인은 무엇이며, 이를 어떻게 수정할 수 있는가?
• RQ3 수정된 목적 함수가 생성자가 진정한 데이터 분포에서 샘플을 생성할 수 있도록 복구할 수 있는가?
• RQ4 수정된 GAN-CLS는 원래 GAN-CLS에 비해 이미지-텍스트 정합성을 얼마나 잘 유지하는가?
• RQ5 일치하지 않는 쌍의 분포가 실제 데이터 분포와 크게 다를 경우, 수정된 알고리즘이 강건한가?

주요 결과

• 이론적 분석을 통해 원래 GAN-CLS 알고리즘이 진정한 데이터 분포를 가진 생성자로 수렴하지 않음을 입증하였으며, $ f_g(y) = 2f_d(y) - f_{\hat{d}}(y) $ 라는 식이 성립하나, $ f_g(y) = f_d(y) $ 는 성립하지 않는다.
• 수정된 GAN-CLS 알고리즘은 수렴 시 생성자가 진정한 데이터 분포를 학습함을 보장하며, $ f_g(y) = f_d(y) $ 를 만족한다.
• 옥스포드-102 데이터셋에서 수정된 알고리즘은 더 현실적인 꽃을 생성하며, 더 선명한 꽃잎과 개선된 색상 표현을 보인다.
• CUB 데이터셋에서 수정된 모델은 원래 GAN-CLS보다 부리 모양, 날개 색상, 머리 무늬와 같은 더 세부적인 특징을 더 정확히 포착한다.
• 일치하지 않는 쌍이 변형된 경우(예: 분할 및 재조립된 이미지)에도 수정된 알고리즘은 성능을 유지하지만, 원래 GAN-CLS는 일관된 이미지를 생성하지 못한다.
• 수정된 알고리즘은 미리보지 않은 텍스트 설명에 잘 일반화되어 현실적이며 의미적으로 정합된 이미지를 생성한다.