[논문 리뷰] WarpGAN: Automatic Caricature Generation

Yichun Shi, Debayan Deb외 1명|arXiv (Cornell University)|2018. 11. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 5

한 줄 요약

WarpGAN은 적대적 훈련을 통해 이미지 왜곡과 텍스처 스타일 전이를 동시에 학습함으로써 얼굴 사진에서 카리커처를 자동으로 생성하는 GAN 기반 프레임워크를 제안한다. 이는 형태 왜곡을 위한 희소 제어점 예측과 신원 유지 적대적 손실을 통해 신원을 유지하며, 감각적 품질과 신원 유지 측면에서 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

We propose, WarpGAN, a fully automatic network that can generate caricatures given an input face photo. Besides transferring rich texture styles, WarpGAN learns to automatically predict a set of control points that can warp the photo into a caricature, while preserving identity. We introduce an identity-preserving adversarial loss that aids the discriminator to distinguish between different subjects. Moreover, WarpGAN allows customization of the generated caricatures by controlling the exaggeration extent and the visual styles. Experimental results on a public domain dataset, WebCaricature, show that WarpGAN is capable of generating a diverse set of caricatures while preserving the identities. Five caricature experts suggest that caricatures generated by WarpGAN are visually similar to hand-drawn ones and only prominent facial features are exaggerated.

연구 동기 및 목표

• 얼굴 사진에서 신원을 유지하면서도 특징을 과장하는 카리커처를 완전 자동으로 생성할 수 있는 시스템을 개발하는 것.
• 얼굴 키포인트에 의존하지 않고 기하학적 왜곡과 텍스처 스타일 전이의 이중 과제를 해결하는 것.
• 생성된 카리커처의 과장 수준과 시각적 스타일을 사용자 정의할 수 있도록 하는 것.
• 기존 GAN 기반 스타일 전이 방법에 비해 생성된 카리커처의 신원 유지 능력을 향상시키는 것.
• 전문가 평가와 얼굴 인식 벤치마크를 활용하여 생성된 카리커처의 감각적 품질과 현실성 평가를 수행하는 것.

제안 방법

• WarpGAN은 형태 왜곡과 텍스처 스타일 전이를 별도의 모듈로 분리한 조건부 GAN 프레임워크를 사용한다.
• 생성자는 입력 얼굴 이미지를 이미지 공간에서 비선형적으로 왜곡하기 위한 희소 제어점의 집합을 예측한다.
• 비선형 필터링 메커니즘이 카리커처 도메인에서 텍스처 스타일을 왜곡된 이미지로 전이하여 주름과 같은 세밀한 디테일을 유지한다.
• 판별자는 신원 유지 적대적 손실을 사용하며, 각 (신원, 스타일) 쌍을 별도의 클래스로 간주하여 신원 유지 능력을 향상시킨다.
• 모델은 적대적 손실을 통합하여 실재성 있고 다양한 카리커처 출력을 유도하는 방식으로 엔드 투 엔드로 훈련된다.
• 모델은 얼굴 키포인트 애너테이션을 필요로 하지 않으며, 적대적 목적과 신원 인식 손실을 통한 암묵적 지도에 의존한다.

Figure 1: Example photos and caricatures of two subjects in our dataset. Column (a) shows each identity’s real face photo, while two generated caricatures of the same subjects by WarpGAN are shown in column (b) and (c). Caricatures drawn by artists are shown in the column (d) and (e).

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 얼굴 키포인트나 수동 제어 없이도 얼굴 사진에서 카리커처를 자동으로 생성할 수 있는가?
• RQ2 통합 학습 프레임워크는 기하학적 왜곡과 텍스처 스타일 전이를 동시에 수행하면서도 얼마나 효과적으로 신원을 유지할 수 있는가?
• RQ3 생성된 카리커처는 어떤 정도 수준에서 수작업 카리커처와 시각적 품질과 특징 과장 측면에서 유사한가?
• RQ4 신원 유지 적대적 손실은 표준 GAN에 비해 생성된 카리커처의 인식 정확도를 향상시키는가?
• RQ5 사용자가 생성된 카리커처의 과장 수준과 예술적 스타일을 의미 있고 제어 가능한 방식으로 맞춤화할 수 있는가?

주요 결과

• 전문가 평가에서 WarpGAN이 생성한 카리커처는 수작업 카리커처와 가장 유사하다고 평가되었으며, 이는 CycleGAN과 MUNIT 대비 99% 대비 0.5%의 비율을 차지했다.
• 감각 평가에서 WarpGAN은 평균 시각적 품질 점수 5.61점(10점 만점)과 과장 점수 4.87점을 기록했으며, CycleGAN(2.43점 및 2.27점)과 MUNIT(1.82점 및 1.83점)에 비해 유의미하게 뛰어났다.
• 생성된 카리커처에 대한 얼굴 인식 정확도가 수작업 카리커처보다 높아, 강력한 신원 유지 능력을 보였다.
• 절단 실험 결과, 왜곡 모듈 또는 텍스처 전이 모듈을 제거할 경우 결과가 붕괴되거나 저품질이 되었으며, 이는 통합 학습의 필요성을 확인했다.
• 신원 유지 적대적 손실은 각 (신원, 스타일) 쌍을 고유한 클래스로 간주함으로써 판별자의 혼동을 줄였고, 훈련 안정성과 출력 다양성 향상에 기여했다.
• 동일한 입력 사진에 대해 다양한 카리커처를 성공적으로 생성함으로써, 과장 수준과 시각적 스타일의 제어 가능성과 유연성을 입증했다.

(a) Global Parameters [ 14 ] [ 15 ] [ 16 ]