[논문 리뷰] ComicGAN: Text-to-Comic Generative Adversarial Network

Ben Proven-Bessel, Zilong Zhao외 1명|arXiv (Cornell University)|2021. 09. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 4

한 줄 요약

ComicGAN은 텍스트 기반 설명에서 만화 장면을 합성하기 위해 고유한 텍스트 설명 생성 및 만화 전용 이미지 인코더를 사용하는 텍스트-에서-만화 생성 적대적 신경망을 제안한다. 이는 Dilbert 스타일의 만화에서 기존 GAN 모델보다 우수한 FID 점수와 텍스트 프롬프트 및 생성된 시각적 요소 간의 강한 일치도를 달성하며, 높은 품질의 세부 정보가 담긴 만화 출력을 제공한다.

ABSTRACT

Drawing and annotating comic illustrations is a complex and difficult process. No existing machine learning algorithms have been developed to create comic illustrations based on descriptions of illustrations, or the dialogue in comics. Moreover, it is not known if a generative adversarial network (GAN) can generate original comics that correspond to the dialogue and/or descriptions. GANs are successful in producing photo-realistic images, but this technology does not necessarily translate to generation of flawless comics. What is more, comic evaluation is a prominent challenge as common metrics such as Inception Score will not perform comparably, as they are designed to work on photos. In this paper: 1. We implement ComicGAN, a novel text-to-comic pipeline based on a text-to-image GAN that synthesizes comics according to text descriptions. 2. We describe an in-depth empirical study of the technical difficulties of comic generation using GAN's. ComicGAN has two novel features: (i) text description creation from labels via permutation and augmentation, and (ii) custom image encoding with Convolutional Neural Networks. We extensively evaluate the proposed ComicGAN in two scenarios, namely image generation from descriptions, and image generation from dialogue. Our results on 1000 Dilbert comic panels and 6000 descriptions show synthetic comic panels from text inputs resemble original Dilbert panels. Novel methods for text description creation and custom image encoding brought improvements to Frechet Inception Distance, detail, and overall image quality over baseline algorithms. Generating illustrations from descriptions provided clear comics including characters and colours that were specified in the descriptions.

연구 동기 및 목표

• 이 분야에서 이전 연구가 없기 때문에 GAN을 사용한 텍스트-에서-만화 생성 파이프라인을 개발하는 것.
• 사진과 유사한 이미지 생성과는 상당히 다름에도 불구하고, 텍스트 기반 설명에서 일관되고 세부적인 만화를 생성하는 과제를 해결하는 것.
• 기존의 텍스트-에서-이미지 GAN의 한계를 극복하기 위해 만화 분야에 특화된 수정 사항을 도입하는 것.
• 학습용 만화 GAN에 사용할 수 있는 다양한 기술적 설명 입력을 스케일러블하게 생성하는 방법을 만드는 것.
• 만화 시각적 특징에 최적화된 맞춤형 이미지 인코더를 설계하고 평가하여, 일반 모델 대비 생성 품질을 향상시키는 것.

제안 방법

• 만화 생성을 위해 AttnGAN을 기반으로 한 텍스트-에서-이미지 GAN 아키텍처를 적응시켰다.
• 만화 장면 레이블의 라벨 순열 및 증강을 통해 자동으로 텍스트 설명을 생성하여 다양한 기술적 설명 문장을 생성했다.
• 스타일리시한 선, 평탄한 색상, 캐릭터 일관성과 같은 만화 전용 시각적 특징에 최적화된 맞춤형 합성곱 신경망(CNN) 이미지 인코더를 설계했다.
• 정량적 평가를 위해 Frechet Inception Distance(FID)와 Inception Score를 사용했으며, FID를 주요 평가 지표로 삼아 비사진적 이미지에 적합함을 확인했다.
• 0-샷 및 인라인 컨텍스트 텍스트-에서-만화 합성 기능을 가능하게 하기 위해 1,000개의 Dilbert 만화 장면과 해당 대화, 6,000개의 기술적 설명 문장을 사용해 모델을 훈련시켰다.
• 생성된 이미지 특징과 입력 텍스트 임bedding 간의 일치를 향상시켜 의미 일致성을 높이기 위해 수정된 DAMSM(Deep Visual-Semantic Hashing) 손실을 적용했다.

실험 결과

연구 질문

• RQ1 GAN 기반 이미지 생성과 평가에 있어 만화에서 특유의 시각적 및 텍스트적 특징은 무엇이며, 어떤 도전 과제를 야기하는가?
• RQ2 자연어 기반 설명에서 고품질의 일관된 만화 일러스트를 생성하기 위해 텍스트-에서-이미지 GAN은 어떻게 적응시켜야 하는가?
• RQ3 장면 레이블에서 자동으로 텍스트 설명을 생성하는 방법이, 제한된 실세계 데이터에서 학습 데이터의 다양성과 모델 성능 향상에 기여할 수 있는가?
• RQ4 일반적인 사전 훈련된 모델(예: Inception v3)에 비해, 만화 최적화된 맞춤형 이미지 인코더는 정확하고 세부적인 만화 장면 생성에서 어떤 성능을 보이는가?
• RQ5 기존의 Inception Score와 같은 표준 평가 지표에 한계가 있음에도 불구하고, FID 및 기타 지표는 생성된 만화의 품질과 일치도를 얼마나 잘 평가할 수 있는가?

주요 결과

• ComicGAN은 기존의 DCGAN 및 표준 AttnGAN 모델 대비 FID 점수에서 뚜렷한 향상을 보이며, 실제 만화 장면과 유사한 시각적 정확도와 분포 유사성을 나타냈다.
• 맞춤형 만화 전용 CNN 이미지 인코더는 Inception v3보다 만화의 특징 추출에서 뛰어난 성능을 보였으며, 고품질 생성을 위해 도메인 특화 아키텍처가 필수적임을 시사했다.
• 생성된 만화 장면은 입력 설명과 강한 의미 일치를 보였으며, 캐릭터 표현과 지정된 색상 등이 정확히 반영되었지만, 일부 경우 캐릭터 신원을 잘못 이해하는 오류가 발생했다.
• 레이블 순열 및 증강을 통한 자동 텍스트 설명 생성이 효과적으로 다양한 기술적 설명 문장을 생성하여, 제한된 실세계 데이터에서 GAN의 효과적인 학습을 가능케 했다.
• 모델은 대화 및 기술적 설명 텍스트 입력 모두에서 일관되고 세부적인 만화 장면을 성공적으로 합성했으며, Dilbert 스타일의 텍스트-에서-만화 생성 가능성을 입증했다.
• 비록 정제된 만화 데이터셋이 부족했음에도 불구하고, 정성적인 평가에서 원본 Dilbert 장면과 시각적으로 구분되지 않는 결과를 생성했다.