[논문 리뷰] Unpaired Photo-to-manga Translation Based on The Methodology of Manga Drawing

Hao Su, Jianwei Niu외 4명|arXiv (Cornell University)|2020. 04. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 6

한 줄 요약

MangaGAN은 쌍이 맞지 않는 사진에서 만화로의 번역을 위한 새로운 GAN 기반 방법으로, 다중 GAN 아키텍처를 통해 만화 예술가들의 기법을 모방하여 기하학적 얼굴 특징을 생성한다. 이는 높은 품질의 스타일 일관성 있는 만화 얼굴을 생성하며, 더 나은 유사도와 부드러운 선으로 강한 성능을 발휘하여 새로 구축한 만화 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Manga is a world popular comic form originated in Japan, which typically employs black-and-white stroke lines and geometric exaggeration to describe humans' appearances, poses, and actions. In this paper, we propose MangaGAN, the first method based on Generative Adversarial Network (GAN) for unpaired photo-to-manga translation. Inspired by how experienced manga artists draw manga, MangaGAN generates the geometric features of manga face by a designed GAN model and delicately translates each facial region into the manga domain by a tailored multi-GANs architecture. For training MangaGAN, we construct a new dataset collected from a popular manga work, containing manga facial features, landmarks, bodies, and so on. Moreover, to produce high-quality manga faces, we further propose a structural smoothing loss to smooth stroke-lines and avoid noisy pixels, and a similarity preserving module to improve the similarity between domains of photo and manga. Extensive experiments show that MangaGAN can produce high-quality manga faces which preserve both the facial similarity and a popular manga style, and outperforms other related state-of-the-art methods.

연구 동기 및 목표

• 입력 사진의 얼굴 정체성을 유지하면서도 진정성 있는 만화 스타일 예술작품을 생성하는 딥 러닝 방법을 개발하는 것.
• 쌍이 맞는 훈련 데이터 없이 현실적인 사진을 스타일리시한 만화 얼굴로 변환하는 과제를 해결하고, 만화 그림 기법에서의 통찰을 활용하는 것.
• 생성된 만화 얼굴의 노이즈를 최소화하고 선의 연속성을 향상시켜 시각적 품질을 개선하는 것.
• 입력 사진과 생성된 만화 간의 높은 얼굴 유사도를 유지하기 위해 정체성 보존 모듈을 도입하는 것.
• 기존 만화 작품에서 유래한 대규모 고해상도 데이터셋을 구축하여 사진에서 만화로의 번역 분야에 새로운 벤치마크를 설정하는 것.

제안 방법

• MangaGAN은 사진에서 만화 스타일로 얼굴 영역을 변환하기 위해 특별히 설계된 다중 GAN 아키텍처를 사용하며, 다양한 얼굴 구성 요소별로 전용 생성기와 판별기를 갖춘다.
• 모델은 생성된 만화 얼굴의 선 연속성을 향상시키고 픽셀 수준의 노이즈를 줄이기 위해 새로운 구조적 스무딩 손실을 사용하여 훈련된다.
• 특징 분포의 정렬을 통해 입력 사진과 생성된 만화 간의 유사도를 보존하기 위해 정체성 보존 모듈이 통합된다.
• 모델은 인기 있는 만화 시리즈에서 유래한 새로 구축된 데이터셋을 기반으로 훈련되며, 쌍이 맞는 얼굴 랜드마크, 신체 자세, 스타일리시한 만화 특징을 포함한다.
• GAN 프레임워크는 적대적 훈련을 통해 현실적인 만화 스타일의 출력을 생성하면서도 만화 관례에 부합하는 기하학적 일관성을 유지한다.
• 아키텍처는 숙련된 만화 예술가들의 작업 흐름을 모방하도록 설계되어 있으며, 구조적 과장과 스타일리시한 선 작업을 강조한다.

실험 결과

연구 질문

• RQ1 쌍이 맞는 훈련 데이터 없이 GAN 기반 모델이 실제 사진에서 고품질의 만화 얼굴을 생성할 수 있는가?
• RQ2 사진에서 만화 스타일로 변환할 때 모델이 얼굴 정체성과 유사도를 얼마나 효과적으로 유지할 수 있는가?
• RQ3 구조적 스무딩과 정체성 보존 구성 요소를 통합할 경우 생성된 만화 얼굴의 시각적 품질과 현실감이 얼마나 향상되는가?
• RQ4 다중 GAN 아키텍처가 만화 그림에서 발생하는 복잡한 기하학적 및 스타일리시한 변환을 효과적으로 모델링할 수 있는가?
• RQ5 제안된 방법은 기존 최신 기술 대비 쌍이 맞지 않는 사진에서 만화로의 번역에서 어떻게 비교되는가?

주요 결과

• MangaGAN은 입력 사진의 얼굴 정체성과 만화의 특징적인 기하학적 스타일화를 모두 유지하는 고품질의 만화 얼굴을 생성한다.
• 구조적 스무딩 손실은 노이즈 픽셀을 크게 줄이고 선의 연속성을 향상시켜 더 깔끔하고 자연스러운 만화 선을 만들어낸다.
• 정체성 보존 모듈은 입력 사진과 생성된 만화 간의 인지적 정렬을 향상시켜 도메인 간 얼굴 일관성을 개선한다.
• 정량적 지표와 정성적 평가에서 기존 최신 기술을 모두 능가하며, 뛰어난 스타일리제이션과 정체성 보존 성능을 입증한다.
• 실제 만화 작품에서 유래한 새로 구축된 데이터셋은 향후 쌍이 맞지 않는 사진에서 만화로의 번역 연구에 있어 귀중한 벤치마크를 제공한다.
• 다중 GAN 아키텍처는 얼굴 영역 번역에 대해 세밀한 제어를 가능하게 하여 더 정확하고 스타일리시한 출력을 가능하게 한다.