[논문 리뷰] Weakly-supervised Caricature Face Parsing through Domain Adaptation

Wenqing Chu, Wei-Chih Hung외 3명|arXiv (Cornell University)|2019. 05. 13.

Face recognition and analysis참고 문헌 27인용 수 6

한 줄 요약

이 논문은 실제 사진에서 별도의 형태 및 텍스처 적응을 통해 카리커처 유사 이미지를 합성함으로써 실사 사진에서의 약한 지도 학습 도메인 적응 프레임워크를 제안한다. 형태 과장에 공간 변환기와 텍스처 정렬에 피드포워드 스타일 전이 네트워크를 사용하여, 실사 사진 분할 데이터셋에서 실카리커처로의 효과적인 전이가 가능해지며, 합성 카리커처에서 73.38 mIoU, 실 웹카리커처 데이터에서 64.23 mIoU를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A caricature is an artistic form of a person's picture in which certain striking characteristics are abstracted or exaggerated in order to create a humor or sarcasm effect. For numerous caricature related applications such as attribute recognition and caricature editing, face parsing is an essential pre-processing step that provides a complete facial structure understanding. However, current state-of-the-art face parsing methods require large amounts of labeled data on the pixel-level and such process for caricature is tedious and labor-intensive. For real photos, there are numerous labeled datasets for face parsing. Thus, we formulate caricature face parsing as a domain adaptation problem, where real photos play the role of the source domain, adapting to the target caricatures. Specifically, we first leverage a spatial transformer based network to enable shape domain shifts. A feed-forward style transfer network is then utilized to capture texture-level domain gaps. With these two steps, we synthesize face caricatures from real photos, and thus we can use parsing ground truths of the original photos to learn the parsing model. Experimental results on the synthetic and real caricatures demonstrate the effectiveness of the proposed domain adaptation algorithm. Code is available at: https://github.com/ZJULearning/CariFaceParsing .

연구 동기 및 목표

• 얼굴 분할을 위한 대규모 픽셀 수준의 레이블이 부여된 카리커처 데이터셋의 부족을 해결한다.
• 실사 사진과 카리커처 간의 도메인 이탈 문제를 해결하여 얼굴 구성 요소 분할 성능을 향상시킨다.
• 기존의 실사 사진 분할 데이터셋을 소스 도메인으로 활용하여 약한 지도 학습을 가능하게 한다.
• 타겟 도메인에서 수동 레이블링이 필요 없이 실카리커처에서의 분할 성능을 향상시킨다.

제안 방법

• 카리커처 랜드마크에서의 약한 지도를 활용하여 형태 도메인 이탈을 모델링하고 적응하기 위해 공간 변환기 네트워크를 사용한다.
• 실사 사진과 카리커처 간의 텍스처 수준의 차이를 캡처하고 전이하기 위해 피드포워드 스타일 전이 네트워크를 적용한다.
• 이중 단계 적응 과정을 통해 실사 얼굴 사진에서 합성 카리커처 유사 이미지를 생성함으로써 이미지 수준의 도메인 적응을 수행한다.
• 소스 실사 사진 데이터셋의 진짜 분할 레이블을 활용하여 합성 카리커처 이미지에서 세분화 네트워크를 훈련시킨다.
• 형태 적응 네트워크의 훈련을 안정화시키기 위해 기울기 보정이 있는 워샤프스키 GAN을 사용한다.
• 적응된 데이터에서 세분화 네트워크 훈련을 위해 다항 학습률 정책과 ADAM 옵timizer를 활용한다.

실험 결과

연구 질문

• RQ1 크고 다를 수 있는 형태 및 텍스처 차이에도 불구하고, 도메인 적응이 실사 사진에서 카리커처로 얼굴 분할 지식을 효과적으로 전이할 수 있는가?
• RQ2 종합적인 이미지 번역 대비 형태와 텍스처 적응을 별도로 모델링하는 것이 분할 성능 향상에 어떤 기여를 하는가?
• RQ3 랜드마크에서의 약한 지도 학습이 카리커처 생성에서 형태 적응에 얼마나 기여하는가?
• RQ4 기존의 도메인 적응 기반 모델 대비 제안된 방법이 실세계 카리커처에 더 잘 일반화되는가?

주요 결과

• 제안된 방법은 합성 HELEN-Cari 데이터셋에서 73.38% mIoU를 기록하여, 적응 없이 훈련된 모델(49.36%)과 CycleGAN 기반 적응만을 사용한 모델(57.68%)보다 유의미하게 뛰어나다.
• 실 웹카리커처 데이터셋에서 제안된 방법은 64.23% mIoU를 달성하여, 제한된 수동 레이블링을 사용해 훈련된 AdaptSegNet(58.48%) 및 Cari-Cross(56.29%)를 모두 능가한다.
• 제거 실험 결과에 따르면, 형태 적응과 텍스처 적응 모두가 성능 향상에 기여하며, 형태 적응만을 사용할 경우 65.19% mIoU, 텍스처 적응만을 사용할 경우 62.78% mIoU를 기록한다.
• 그림 3의 정성적 결과는 제안된 방법이 CycleGAN 및 AdaptSegNet이 큰 형태 변화에서 어려움을 겪는 것과는 달리 눈썹과 입의 분할을 더 정확하게 수행함을 보여준다.
• HELEN-Cari(합성 데이터)에서 훈련된 모델는 실카리커처로 잘 일반화되며, 도메인 적응 파이프라인의 효과성을 입증한다.
• 이중 단계 방식으로 기하학적(형태) 및 외관(텍스처)적 불일치를 동시에 해결함으로써 도메인 이탈을 효과적으로 줄인다.