[논문 리뷰] Auto-painter: Cartoon Image Generation from Sketch by Using Conditional Generative Adversarial Networks

Yifan Liu, Zengchang Qin외 2명|arXiv (Cornell University)|2017. 05. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 69

한 줄 요약

논문은 U-Net 생성기와 PatchGAN 판별기를 갖춘 cGAN 기반 모델 Auto-painter를 제안하여 만화 이미지로 색칠하기 위한 스케치를 색칠하고, 픽셀, 특징, 전체 변동성 손실 및 사용자의 취향에 따라 색상 제어를 선택적으로 제공한다.

ABSTRACT

Recently, realistic image generation using deep neural networks has become a hot topic in machine learning and computer vision. Images can be generated at the pixel level by learning from a large collection of images. Learning to generate colorful cartoon images from black-and-white sketches is not only an interesting research problem, but also a potential application in digital entertainment. In this paper, we investigate the sketch-to-image synthesis problem by using conditional generative adversarial networks (cGAN). We propose the auto-painter model which can automatically generate compatible colors for a sketch. The new model is not only capable of painting hand-draw sketch with proper colors, but also allowing users to indicate preferred colors. Experimental results on two sketch datasets show that the auto-painter performs better that existing image-to-image methods.

연구 동기 및 목표

• 디지털 엔터테인먼트를 위한 흑백 스케치를 다채로운 만화 이미지로 자동으로 그리는 것을 동기 부여한다.
• 조건부 GAN을 사용한 제어 가능한 스케치-이미지 생성 프레임워크를 개발한다.
• 다중 항 손실 함수를 통해 스케치 경계를 보존하면서 고품질 색상을 생성한다.
• 생성된 만화 스타일을 사용자가 주도적으로 제어할 수 있도록 색상 제어를 가능하게 한다.

제안 방법

• 입력 스케치에 조건화된 U-Net 생성기와 PatchGAN 판별기를 사용하는 조건부 GAN을 활용한다.
• 적대적 손실, L1 픽셀 손실, VGG 기반 특징 손실, 총 변동 손실을 결합한 다항식 손실 L = wp Lp + wf Lf + wG LG + wtv Ltv를 사용한다.
• 디코딩 중 저수준 스케치 정보를 보존하기 위한 U-Net 스킵 연결 전략을 적용한다.
• 고해상도(512x512) 만화 스케치-이미지 쌍으로 학습하고 XDoG를 사용하여 이미지로부터 스케치를 생성해 감독 정보를 제공한다.
• 색상 제어 블록을 스케치에 도입하여 색칠을 안내함으로써 선택적 색상 제어를 허용한다.
• Lf 및 Ltv의 영향 평가를 위해 피즈투픽스(pix2pix) 기준선과 비교하고 차별 연구를 수행한다.

실험 결과

연구 질문

• RQ1 cGAN 기반 모델이 가장자리 보존을 유지하면서 흑백 만화 스케치를 색상 있는 만화 이미지로 안정적으로 변환할 수 있는가?
• RQ2 다중 항 손실(픽셀, 특징, 총 변동)이 표준 pix2pix에 비해 색상 충실도와 스타일 다양성을 향상시키는가?
• RQ3 인터랙티브 색상 제어를 도입하면 일관성을 해치지 않으면서도 생성된 만화 스타일의 사용자 주도 변형이 가능한가?

주요 결과

방법	n_like	n_dislike	pop_j	variance(pop_ij)	mean(pop_ij)
pix2pix [10]	249	1147	-1.524	1.319	-1.549
tv loss	304	698	-0.829	1.519	-0.675
feature loss	687	219	1.140	1.110	1.227
auto-painter	960	136	1.948	0.888	1.873

• Auto-painter는 55명의 자원봉사자에 의한 주관적 선호 평가에서 pix2pix 기준선을 능가했다.
• 절단 연구에서 총 변동 손실을 제거하면 배경이 흐려지고 특징 손실을 제거하면 세부가 흐려지며 모든 손실을 결합하면 가장 높은 호응도와 최저 분산을 얻는다.
• 모든 손실 항을 포함한 전체 Auto-painter가 실험된 구성에서 가장 높은 인기도 점수와 가장 안정적인 출력을 달성한다.
• 색상 제어 블록은 영역별 색상 확산을 가능하게 하고 사용자가 제시한 색상 힌트가 합성된 만화 출력에 영향을 준다.
• 두 개의 데이터셋(Minions와 Japanimation)에서 학습이 가능하며, 스케치에서 고품질의 colored 만화를 생성하는 능력을 보여준다.
• 시스템은 이미지당 약 1초 이내에 색상 만화를 생성할 수 있어 인터랙티브 편집 워크플로를 가능하게 한다.