[논문 리뷰] Generating Image Sequence from Description with LSTM Conditional GAN

Xu Ouyang, Xi Zhang외 2명|arXiv (Cornell University)|2018. 06. 08.

Multimodal Machine Learning Applications참고 문헌 23인용 수 3

한 줄 요약

이 논문은 자연어 설명에서 단어별로 한 단어씩 단계적으로 고품질 영상 시퀀스를 생성하는 LSTM 조건부 GAN을 제안한다. 문장의 각 단어에서 적대적 손실을 적용함으로써 모델은 영상 생성을 점진적으로 개선하며, 최신 기법들에 비해 Oxford-102 Flowers 및 CUB-200-2011 데이터셋에서 뛰어난 현실감과 의미적 일치도를 달성한다.

ABSTRACT

Generating images from word descriptions is a challenging task. Generative adversarial networks(GANs) are shown to be able to generate realistic images of real-life objects. In this paper, we propose a new neural network architecture of LSTM Conditional Generative Adversarial Networks to generate images of real-life objects. Our proposed model is trained on the Oxford-102 Flowers and Caltech-UCSD Birds-200-2011 datasets. We demonstrate that our proposed model produces the better results surpassing other state-of-art approaches.

연구 동기 및 목표

• 자연어 설명에서부터 현실적이며 고해상도 영상을 생성하는 데 도전 과제를 해결하기 위해.
• 문장의 각 단어에 따라 점진적으로 진화하는 영상 생성을 가능하게 하여 점진적인 의미적 세부 정보를 포착하기 위해.
• 모든 단어에서 적대적 손실을 적용하여 영상 품질과 정확도를 향상시키고, 기울기 흐름과 특징 학습을 강화하기 위해.
• 문장의 끝에서 단일 영상을 생성하는 것보다 각 단어에서 영상을 생성함으로써 더 나은 종합적 결과를 도출할 수 있음을 입증하기 위해.

제안 방법

• 모델은 텍스트 설명을 단어별로 인코딩하기 위해 LSTM을 사용하여 순서적이고 문법적인 구조를 포착한다.
• 조건부 GAN 아키텍처를 활용하며, 생성자는 각 단어까지의 문장 표현에 조건부로 영상을 생성한다.
• 학습 중에 각 단어에서 적대적 손실이 계산되며, 이는 생성자와 판별자가 점진적으로 업데이트되어 특징 학습이 향상되도록 한다.
• 영상 생성은 점진적으로 진행된다: 모델은 각 단계에서 새로운 영상을 생성하며, 더 많은 단어를 처리할수록 출력이 정교해진다.
• VGG-16과 구조적 유사도 지수(SI)의 특징을 사용하여 영상 품질과 실제 영상과의 유사도를 정량적으로 평가한다.
• 생성자는 VGG-16의 중간 및 최종 레이어의 특징을 사용하여 적대적 손실과 인지적 손실을 모두 최소화하도록 훈련된다.

실험 결과

연구 질문

• RQ1 단어별 영상 생성을 수행하는 조건부 GAN은 단일 단계 생성보다 더 현실적이며 의미적으로 정확한 영상을 생성할 수 있는가?
• RQ2 각 단어에서 적대적 손실을 적용하면 텍스트-영상 생성에서 기울기 흐름과 모델 훈련 안정성이 향상되는가?
• RQ3 동일한 실제 영상이 문장 처리 중에 여러 개의 중간 영상 생성 목표로 효과적으로 사용될 수 있는가?
• RQ4 점진적 영상 생성이 설명에서 꽃잎 색상, 형태, 배열과 같은 세부 정보를 어느 정도 정확히 포착할 수 있는가?

주요 결과

• 제안된 LSTM 조건부 GAN은 각 영상가 각 단어까지의 설명에 해당하는 영상 시퀀스를 생성하며 점진적인 정교함을 보여준다.
• 정성적 결과는 생성된 영상이 꽃잎 색상 변화와 같이 설명의 변화를 정확히 반영함을 보여주며, '노란', '흰', '粉적' 꽃잎이 설명된 그대로의 영상이 생성됨을 확인한다.
• 시각적 검토를 통해 표준 조건부 GAN 및 마지막 단어만을 고려한 생성 방식에 비해 더 현실적이고 세부 정보가 풍부한 영상을 생성함을 확인했다.
• VGG-16 특징과 SSI를 사용한 정량적 평가 결과, 제안된 방법은 CGAN 및 마지막 단어 기반 베이스라인에 비해 유사도 거리(Euclidean distance)가 유의미하게 낮고 SSI 점수가 높게 나타났다.
• SSI 및 VGG-16 유사도 지표는 모델이 다중 스케일에서 전반적인 구조와 세부 정보를 모두 잘 포착하고 있음을 확인한다.
• 단어 수준의 적대적 손실을 활용한 점진적 훈련은 더 나은 영상 품질과 입력 설명에 대한 더 강한 의미 일치도를 이끌어낸다.