[논문 리뷰] StoryGAN: A Sequential Conditional GAN for Story Visualization

Yitong Li, Zhe Gan외 7명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications참고 문헌 40인용 수 22

한 줄 요약

이 논문은 다문장 스토리에서 일관된 이미지 시퀀스를 생성하기 위해 순차적 조건부 GAN인 StoryGAN을 제안한다. 이는 GRU와 Text2Gist 셀을 활용한 컨텍스트 인코더를 통해 스토리 흐름을 모델링하고, 이미지 및 스토리 일관성에 대한 이중 수준의 판별기들을 도입한다. StoryGAN은 CLEVR-SV 및 Pororo-SV 데이터셋에서 이미지 품질, 맥락 일관성, 인간 평가 측면에서 최신 기술을 초월한다.

ABSTRACT

We propose a new task, called Story Visualization. Given a multi-sentence paragraph, the story is visualized by generating a sequence of images, one for each sentence. In contrast to video generation, story visualization focuses less on the continuity in generated images (frames), but more on the global consistency across dynamic scenes and characters -- a challenge that has not been addressed by any single-image or video generation methods. We therefore propose a new story-to-image-sequence generation model, StoryGAN, based on the sequential conditional GAN framework. Our model is unique in that it consists of a deep Context Encoder that dynamically tracks the story flow, and two discriminators at the story and image levels, to enhance the image quality and the consistency of the generated sequences. To evaluate the model, we modified existing datasets to create the CLEVR-SV and Pororo-SV datasets. Empirically, StoryGAN outperforms state-of-the-art models in image quality, contextual consistency metrics, and human evaluation.

연구 동기 및 목표

• 기존 텍스트-이미지 또는 비디오 생성 모델이 충분한 전반적 스토리 모델링을 하지 못함으로써 다문장 스토리에서 일관되고 맥락적으로 일관된 이미지 시퀀스를 생성하는 데 도전하는 문제를 해결하기 위해.
• 이미지 생성 과정에서 문장 간의 맥락 정보를 통합하여 장거리 의존성과 동적인 장면 변화를 모델링하기 위해.
• 스토리 수준 및 이미지 수준의 이중 판별기 프레임워크를 도입함으로써 생성된 이미지 시퀀스의 전반적 일관성과 시각적 품질을 향상시키기 위해.
• CLEVR 및 Pororo 데이터셋의 수정된 버전(CLEVR-SV 및 Pororo-SV)을 사용하여 새로운 벤치마크 작업인 '스토리 시각화'를 제작하고 평가하기 위해.

제안 방법

• StoryGAN은 순차적 조건부 GAN 프레임워크를 활용하며, 생성자는 현재 문장과 이전 문장들로부터 유도된 맥락 메모리를 조건으로 하여 문장당 하나의 이미지를 생성한다.
• 컨텍스트 인코더 모듈은 GRU와 새로운 Text2Gist 셀로 구성되며, 문장 기술을 적응형 필터로 변환하여 이미지 생성을 위한 특징 맵을 조절함으로써 스토리 흐름을 동적으로 인코딩한다.
• Text2Gist 셀은 스토리의 의미적 및 구조적 변화를 포괄하는 '개요' 벡터를 학습하여 생성자가 프레임 간의 객체 및 장면 일관성을 유지할 수 있도록 한다.
• 두 개의 판별기를 사용한다: 이미지 수준의 판별기는 각 문장과 해당 생성된 이미지 간의 관련성을 검증하고, 스토리 수준의 판별기는 전체 스토리에 대해 전체 이미지 시퀀스의 전반적 일관성을 평가한다.
• 모델은 적대적 손실을 사용하여 엔드 투 엔드로 훈련되며, 생성자는 적대적 손실과 인지적 손실을 모두 최소화하도록 하고, 판별기는 실제 시퀀스와 생성된 시퀀스를 구분하도록 최적화된다.
• 이 프레임워크는 기존 CLEVR 및 Pororo 데이터셋을 다문장 스토리 입력과 해당 이미지 시퀀스를 포함하도록 수정하여 만든 두 개의 새로운 데이터셋—CLEVR-SV 및 Pororo-SV—에서 평가된다.

실험 결과

연구 질문

• RQ1 순차적 조건부 GAN은 스토리의 전반적 일관성을 유지하면서 다문장 스토리에서 일관된 이미지 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 Text2Gist 모듈을 갖춘 동적 컨텍스트 인코더를 도입할 경우, 정적 또는 비반복적 조건부 설정에 비해 스토리 진행을 얼마나 더 잘 모델링할 수 있는가?
• RQ3 이중 수준의 판별기(이미지 수준 및 스토리 수준)는 단일 판별기 또는 무판별기 기반 베이스라인에 비해 생성된 이미지 시퀀스의 품질과 일관성에 얼마나 기여하는가?
• RQ4 스토리 템플릿을 재사용할 때, 새로운 캐릭터 이름과 스토리 구조에 대해 모델이 얼마나 잘 일반화되는가? 이를 통해 제로샷 전이 능력을 입증할 수 있는가?
• RQ5 이미지 품질, 맥락 일관성, 인간 선호도 측면에서 StoryGAN은 최신 기술 모델에 비해 어느 정도의 성능을 보이는가?

주요 결과

• Pororo-SV 데이터셋에서 StoryGAN은 캐릭터 분류 정확도 0.27을 기록하여 ImageGAN(0.23), SVC(0.21), SVFN(0.24)을 상회하며, 스토리 관련 캐릭터를 일관되게 묘사하는 데서 향상된 성능을 보였다.
• 쌍대 인간 평가에서 StoryGAN은 시각적 품질 측면에서 74.17%의 경우, 일관성 측면에서 79.15%, 관련성 측면에서 78.08%의 경우 ImageGAN보다 선호되었으며, 낮은 표준편차를 보여 강력한 인간 선호도를 확인했다.
• 랭킹 기반 인간 평가에서 StoryGAN은 평균 랭크 1.94 ± 0.05를 기록하여 ImageGAN(2.91 ± 0.05)을 유의미하게 앞서며, 전체 품질과 일관성 측면에서 열등함을 확인했다.
• 제거 실험을 통해 이중 수준의 판별기와 순환적 컨텍스트 인코더 아키텍처가 전반적 일관성 유지 및 이미지 품질 향상에 필수적임을 입증했다.
• 모델은 새로운 캐릭터 이름에 대해 잘 일반화된다: 스토리 템플릿을 다른 이름으로 재사용했을 때, StoryGAN은 일관되고 의미적으로 정확한 이미지를 생성하여 정체성 변경에 대한 강건성을 입증했다.
• 실제 이미지에서의 캐릭터 분류 정확도 상한은 0.86였으며, 생성된 이미지에서의 0.27 성능은 의미 있는 수준의 일관성을 반영하지만 여전히 향상 가능함을 시사한다.