[논문 리뷰] cGAN-based Manga Colorization Using a Single Training Image

Paulina Hensman, Kiyoharu Aizawa|arXiv (Cornell University)|2017. 06. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 10

한 줄 요약

이 논문은 저작권 제약으로 인해 부족한 컬러 만화 데이터셋 문제를 해결하기 위해 단일 컬러화된 기준 이미지만을 사용하여 훈련하는 조건부 GAN(cGAN) 기반의 만화 컬러라이제이션 방법을 제안한다. cGAN과 후처리 분할 및 색상 보정을 결합함으로써, 원래 캐릭터의 색상 조합을 최소한의 잡음으로 유지하면서도 선명하고 고해상도의 결과를 도출한다.

ABSTRACT

The Japanese comic format known as Manga is popular all over the world. It is traditionally produced in black and white, and colorization is time consuming and costly. Automatic colorization methods generally rely on greyscale values, which are not present in manga. Furthermore, due to copyright protection, colorized manga available for training is scarce. We propose a manga colorization method based on conditional Generative Adversarial Networks (cGAN). Unlike previous cGAN approaches that use many hundreds or thousands of training images, our method requires only a single colorized reference image for training, avoiding the need of a large dataset. Colorizing manga using cGANs can produce blurry results with artifacts, and the resolution is limited. We therefore also propose a method of segmentation and color-correction to mitigate these issues. The final results are sharp, clear, and in high resolution, and stay true to the character's original color scheme.

연구 동기 및 목표

• 저작권 제약으로 인해 컬러 만화 데이터셋의 가용성이 제한된 문제를 해결하기 위해.
• 각 캐릭터당 단일 컬러화된 기준 이미지만을 사용하여 정확하고 고해상도의 만화 컬러라이제이션을 가능하게 하기 위해.
• 후처리 분할 및 색상 보정을 통해 cGAN에 의한 컬러라이제이션에서 발생하는 잡음과 블러를 줄이기 위해.
• 기존의 상호작용이 필요한 방법들과는 달리, 각 이미지당 사용자 상호작용이 전혀 필요 없는 완전 자동화된 시스템을 개발하기 위해.
• 스크린톤이 있는지 여부에 관계없이 만화 이미지에 대해 검증하여 다양한 이미지 유형에 대한 강건성을 입증하기 위해.

제안 방법

• 단일 컬러화된 만화 캐릭터 기준 이미지를 사용하여 조건부 GAN(cGAN)을 훈련시어 흑백에서 컬러 출력으로의 매핑을 학습한다.
• cGAN은 입력 흑백 만화 이미지와 단일 기준 이미지를 조건으로 하여 초기 컬러라이제이션 출력을 생성한다.
• 간금한 공기 및 영역 확장 알고리즘에 기반한 분할 파이프라인은 피부, 머리카락, 옷과 같은 구분 가능한 영역을 식별한다.
• 각 분할 영역에 대해 기준 이미지의 색상 팔레트와 일치하도록 색상 보정을 적용한다.
• 스크린톤이 있는 이미지와 없는 이미지를 모두 처리하며, 스트레인톤 없는 버전은 선명한 테두리를, 스트레인톤 있는 버전은 그림자 효과를 위해 사용한다.
• 최종 출력은 스트레인톤 없는 이미지에서 유도된 선명한 테두리와 스트레인톤 있는 버전에서 유도된 그림자를 조합하여 현실감을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 컬러화된 만화 이미지로 cGAN을 효과적으로 훈련시켜 동일 캐릭터의 새로운 이미지에 대해 고품질의 컬러라이제이션을 생성할 수 있는가?
• RQ2 제안된 분할 및 색상 보정 파이프라인이 cGAN에 의한 만화 컬러라이제이션에서 발생하는 블러와 잡음을 얼마나 효과적으로 줄이는가?
• RQ3 이 방법은 미리 보지 못한 이미지에 적용되었을 때 원래 캐릭터의 색상 팔레트에 정확한 유지보장성을 유지하는가?
• RQ4 이 방법은 스트레인톤이 있는지 여부에 관계없이 성능을 보이며, 두 유형을 조합하여 개선된 결과를 낼 수 있는가?
• RQ5 반복적으로 동일 캐릭터의 이미지를 컬러라이제이션할 때, 신경 스타일 전이와 비교해 성능과 속도에서 어떻게 다른가?

주요 결과

• 이 방법은 단일 컬러화된 기준 이미지만으로도 cGAN을 성공적으로 훈련시켜, 대규모 데이터셋이 필요 없이 고해상도이자 선명한 컬러라이제이션 출력을 달성한다.
• 후처리 분할 및 색상 보정이 블러와 잡음을 크게 줄이며, 특히 머리카락과 피부 같은 미세한 디테일에서 효과적이다.
• cGAN에 의한 결과는 이미 시각적으로 매력적이지만, 전체 파이프라인이 추가로 선명도와 색상 정확도를 향상시킨다.
• 특히 동일 캐릭터의 여러 이미지를 컬러라이제이션할 경우, 신경 스타일 전이보다 성능과 속도에서 뛰어나다.
• 목표 이미지의 스트레인톤 및 스트레인톤 없는 버전이 모두 이용 가능한 경우, 두 버전을 조합하면 선명한 테두리와 적절한 그림자를 갖춘 더 나은 결과를 낸다.
• 다양한 자세와 각도에서 동일 캐릭터를 일관되게 컬러라이제이션함으로써, 이미지 구성의 변형에 대해 강건함을 입증하였다.