[논문 리뷰] CaricatureShop: Personalized and Photorealistic Caricature Sketching

Xiaoguang Han, Kangcheng Hou외 5명|arXiv (Cornell University)|2018. 07. 24.

Face recognition and analysis참고 문헌 30인용 수 12

한 줄 요약

이 논문은 스케치 기반 3D 얼굴 과장 기법을 사용하여 포트레이트 사진에서 개인화된 사실적인 카리커처를 생성하는 첫 번째 상호작용형 시스템인 CaricatureShop을 제안한다. 이 시스템은 2D 스케치에서 3D 얼굴 모델의 정점별 스케일링 인자를 추론하는 딥 러닝 모델을 활용하며, 이후 3D 변형, 텍스처 재렌더링, 딥 러닝 기반 세부 정보 강화 및 재조명을 통해 고해상도 결과를 생성한다. 이는 기존 방법 대비 사실성과 정체성 유지 측면에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose the first sketching system for interactively personalized and photorealistic face caricaturing. Input an image of a human face, the users can create caricature photos by manipulating its facial feature curves. Our system firstly performs exaggeration on the recovered 3D face model according to the edited sketches, which is conducted by assigning the laplacian of each vertex a scaling factor. To construct the mapping between 2D sketches and a vertex-wise scaling field, a novel deep learning architecture is developed. With the obtained 3D caricature model, two images are generated, one obtained by applying 2D warping guided by the underlying 3D mesh deformation and the other obtained by re-rendering the deformed 3D textured model. These two images are then seamlessly integrated to produce our final output. Due to the severely stretching of meshes, the rendered texture is of blurry appearances. A deep learning approach is exploited to infer the missing details for enhancing these blurry regions. Moreover, a relighting operation is invented to further improve the photorealism of the result. Both quantitative and qualitative experiment results validated the efficiency of our sketching system and the superiority of our proposed techniques against existing methods.

연구 동기 및 목표

• 포트레이트 사진에서 개인화된 사실적인 카리커처를 생성하기 위한 상호작용형 시스템을 개발하는 것.
• 희소한 2D 스케치 입력을 밀도 높고 비선형적인 3D 얼굴 변형으로 효과적으로 매핑하면서도 정체성을 유지하는 문제를 해결하는 것.
• 3D 재렌더링 과정에서 큰 메쉬 변형으로 인해 발생하는 텍스처 흐림 현상과 조명 불일치 문제를 완화하는 것.
• 3D 변형된 영역과 비3D 영역(예: 머리카락, 배경)을 원활하게 융합하여 아티팩트를 최소화하는 것.
• 딥 러닝 기반 세부 정보 추론 및 전역 조명 최적화를 통해 사실성 향상

제안 방법

• 기존 3D 재구성 기법을 사용하여 2D 포트레이트에서 3D 얼굴 모델을 재구성하는 것.
• 문제를 2D 매개변수 영역에서의 이미지 간 번역으로 간주하고, 딥 러닝 아키텍처를 활용해 2D 스케치 편집을 정점별 스케일링 인자로 매핑하는 것.
• 예측된 스케일링 필드에 기반해 각 정점의 라플라시안을 스케일링하여 3D 메쉬 변형을 적용하는 것.
• 3D 메쉬 변형에 따라 안내되는 2D 워핑을 통한 이미지 생성과 변형된 3D 텍스처 모델의 재렌더링을 통해 두 이미지를 생성하는 것.
• 두 이미지를 원활하게 융합하여 경계 아티팩트를 최소화하는 최종 출력을 생성하는 것.
• 패치 기반 잔차 학습 Pix2Pix 네트워크를 사용하여 뿌연 텍스처 영역의 고주파 세부 정보를 추론하여 블러리 제거하는 것.
• 사실성 향상을 위해 전역 조명 최적화 및 재조명 단계를 적용하는 것.

실험 결과

연구 질문

• RQ1 희소한 2D 스케치 입력을 카리커처 생성을 위해 고밀도 비선형 3D 얼굴 변형으로 효과적으로 매핑할 수 있는 방법은 무엇인가?
• RQ2 2D 스케치와 3D 정점별 과장 인자 간의 복잡한 비선형 매핑을 견고하게 학습할 수 있는 딥 러닝 아키텍처는 무엇인가?
• RQ3 큰 메쉬 변형으로 인해 발생하는 3D 재렌더링 이미지의 텍스처 블러 현상을 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ4 3D 변형된 얼굴 영역과 비3D 영역(예: 머리카락, 배경)을 융합할 때 아티팩트를 최소화하는 방법은 무엇인가?
• RQ5 딥 러닝 기반 재조명 및 세부 정보 강화가 3D 재구성 카리커처의 사실성 향상에 얼마나 기여하는가?

주요 결과

• 라플라시안과 스케치 특징를 2D 이미지 맵으로 평탄화하고 잔차 기반 Pix2Pix 네트워크를 사용하는 제안된 caricNet 아키텍처가 과장 추론 작업에서 가장 낮은 MSE(245.1)를 기록하며, caricNet-Vertex 및 caricNet-w/oTransform 등의 변종보다 뛰어난 성능을 보였다.
• 패치 기반 잔차 학습 방식을 활용한 얼굴 세부 정보 강화는 평균 MSE를 21.0으로 낮추어 비잔차 기반 기준선(27.1)보다 뚜렷이 우수함을 입증하며, 고주파 세부 정보 복원에 효과적임을 확인했다.
• qualitative 비교 결과, 시스템의 최종 출력은 naiveDeform 및 deepSketch2Face와 같은 기준 방법 대비 뛰어난 사실성과 입체감을 확보했다.
• 제거 실험 결과, 스케치 특징의 평탄화 및 네트워크 내 특징 변환 레이어의 사용이 성능 향상에 필수적임을 확인했으며, 스케치 평탄화를 생략한 변종(caricNet-w/oSketchFlatten)은 MSE가 426.5로 훨씬 높게 나타났다.
• qualitative 결과 및 비교 테스트에서 사용자 선호도를 통해 큰 변형 조건에서도 얼굴 정체성이 효과적으로 유지됨을 검증했다.
• 한계점으로는 안경과 같은 얼굴 액세서리에 대한 왜곡과 전역 조명 추정에 의해 영향을 받는 복잡한 조명 환경에서의 과제가 있다.