[논문 리뷰] CariGAN: Caricature Generation through Weakly Paired Adversarial Learning

Wenbin Li, Wei Xiong외 4명|arXiv (Cornell University)|2018. 11. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 18

한 줄 요약

CariGAN은 얼굴 랜드마크와 이미지 융합 기법을 사용하여 현실적인 과장과 정체성 유지성을 강제하고, 다양성 손실을 통해 모드 붕괴를 완화하는 약한 쌍화된 조건부 GAN을 제안한다. 웹카리커처 데이터셋에서의 실험 결과, CariGAN은 인지적 품질, 정체성 유지, 과장 정도에서 최신 기술을 능가하며, 사용자 연구 평균 점수는 모든 지표에서 5.66/10을 기록한다.

ABSTRACT

Caricature generation is an interesting yet challenging task. The primary goal is to generate plausible caricatures with reasonable exaggerations given face images. Conventional caricature generation approaches mainly use low-level geometric transformations such as image warping to generate exaggerated images, which lack richness and diversity in terms of content and style. The recent progress in generative adversarial networks (GANs) makes it possible to learn an image-to-image transformation from data, so that richer contents and styles can be generated. However, directly applying the GAN-based models to this task leads to unsatisfactory results because there is a large variance in the caricature distribution. Moreover, some models require strictly paired training data which largely limits their usage scenarios. In this paper, we propose CariGAN overcome these problems. Instead of training on paired data, CariGAN learns transformations only from weakly paired images. Specifically, to enforce reasonable exaggeration and facial deformation, facial landmarks are adopted as an additional condition to constrain the generated image. Furthermore, an attention mechanism is introduced to encourage our model to focus on the key facial parts so that more vivid details in these regions can be generated. Finally, a Diversity Loss is proposed to encourage the model to produce diverse results to help alleviate the `mode collapse' problem of the conventional GAN-based models. Extensive experiments on a new large-scale `WebCaricature' dataset show that the proposed CariGAN can generate more plausible caricatures with larger diversity compared with the state-of-the-art models.

연구 동기 및 목표

• 단일 얼굴 이미지에서 다양하고 현실적인 과장이 있는 카리커처를 생성하는 데 도전한다.
• 카리커처 생성에 있어 이러한 데이터를 확보하는 데 어려움이 있어 실용적이지 않은 픽셀 단위의 쌍화된 GAN의 한계를 극복한다.
• 엄격한 이미지 간 대응 관계에 의존하지 않고도 정체성 유지와 얼굴 과장 개선을 이룬다.
• 다양성 손실을 도입하여 GAN의 모드 붕괴를 완화하고 다양한 출력 생성을 장려한다.
• 카리커처 합성에서 현실성, 정체성, 과장, 다양성의 균형을 이루는 모델을 개발한다.

제안 방법

• 입력 얼굴와 참조 카리커처가 정체성을 공유하지만 픽셀 단위나 자세 단위의 대응이 없는 약한 쌍화된 훈련 설정을 사용한다.
• 생성된 카리커처의 현실적인 얼굴 변형과 과장을 유도하기 위해 얼굴 랜드마크를 조건부 입력으로 사용한다.
• 이미지 융합 기법을 도입하여 생성자에게 주요 얼굴 영역에 집중하게 하여 국소적 세부 사항의 풍부함과 시각적 매력도 향상시킨다.
• 다양성 손실을 훈련 중에 적용하여 서로 다른 랜덤 노이즈 벡터를 조건으로 하여 다양한 출력을 생성하도록 유도한다.
• 모델은 U-Net 기반 생성자와 패치 기반 판별자로 구성되며, 조건부 GAN 손실과 적대적 목표 함수를 통해 엔드 투 엔드로 훈련된다.
• 적대적 손실, 정체성 손실, 인지적 손실을 결합하여 현실성, 정체성 충실도, 구조적 일致성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 엄격한 쌍화된 훈련 데이터가 필요 없이 GAN 기반 모델이 고품질 카리커처를 생성할 수 있는가?
• RQ2 얼굴 랜드마크는 카리커처 생성에서 현실적이고 일관된 과장을 유도하는 데 효과적으로 활용될 수 있는가?
• RQ3 이미지 융합 기법은 주요 얼굴 영역을 강조함으로써 생성된 카리커처의 시각적 품질을 향상시킬 수 있는가?
• RQ4 다양성 손실은 카리커처 생성에서 모드 붕괴를 효과적으로 줄이고 출력의 다양성을 증가시키는가?
• RQ5 제안된 CariGAN 모델은 인지적 품질, 정체성 유지, 과장 정도 측면에서 최신 기술과 비교해 어떻게 성능을 내는가?

주요 결과

• CariGAN은 사용자 연구에서 평균 인지 점수 5.66/10을 기록하여 Pix2Pix(1.90), BicycleGAN(5.30), PG2(3.60)를 크게 앞서며 최고의 성능을 보였다.
• 모델은 시각적으로 현실적이며 만화 스타일과 일관된 카리커처를 생성함을 나타내는 현실성 점수 5.45를 확보했다.
• 다양한 출력 간에도 입력 얼굴의 정체성 유지에 강력한 충실도를 보이며 정체성 유지 점수 5.34를 기록했다.
• 과장 점수 6.18은 눈, 코, 입과 같은 얼굴 특징을 현실적이고 예술적으로 강조함으로써 CariGAN의 성공적인 과장 능력을 시사한다.
• BicycleGAN에 비해 CariGAN은 더 선명한 출력을 생성하며, L1 손실 기반 모델에서 흔히 발생하는 흐릿한 아티팩트를 피했다.
• 이미지 융합 기법과 다양성 손실이 함께 작용하여 정량적·정성적 평가를 통해 국소적 세부 사항 품질 향상과 출력 다양성 향상을 입증했다.