[논문 리뷰] DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

Xiaoguang Han, Chang Gao외 1명|The HKU Scholars Hub (University of Hong Kong)|2017. 06. 07.

Face recognition and analysis참고 문헌 46인용 수 78

한 줄 요약

이 논문은 bilinear morphable 표현과 인터랙티브 스케칭 및 제스처 기반 정제를 사용하여 2D 얼굴 스케치를 3D 얼굴 또는 캐리커처 모델로 변환하는 CNN 기반 딥 회귀 시스템을 확장된 15,000개 모델 데이터베이스에서 학습합니다.

ABSTRACT

Face modeling has been paid much attention in the field of visual computing. There exist many scenarios, including cartoon characters, avatars for social media, 3D face caricatures as well as face-related art and design, where low-cost interactive face modeling is a popular approach especially among amateur users. In this paper, we propose a deep learning based sketching system for 3D face and caricature modeling. This system has a labor-efficient sketching interface, that allows the user to draw freehand imprecise yet expressive 2D lines representing the contours of facial features. A novel CNN based deep regression network is designed for inferring 3D face models from 2D sketches. Our network fuses both CNN and shape based features of the input sketch, and has two independent branches of fully connected layers generating independent subsets of coefficients for a bilinear face representation. Our system also supports gesture based interactions for users to further manipulate initial face models. Both user studies and numerical results indicate that our sketching system can help users create face models quickly and effectively. A significantly expanded face database with diverse identities, expressions and levels of exaggeration is constructed to promote further research and evaluation of face modeling techniques.

연구 동기 및 목표

• 노동 효율적인, 표현력 있는 3D 얼굴 모델링을 아마추어 및 디자이너를 위해 자극한다.
• 2D 스케치를 3D 얼굴 메시 코효율로 매핑하는 딥 회귀 모델을 개발한다.
• 아이덴티티와 표현을 구분하기 위해 bilinear morphable 표현을 활용한다.
• 초기 스케치, 후속 스케치, 제스처 기반 정제의 인터랙티브 인터페이스를 제공한다.
• 학습 및 평가를 위한 크고 다양한 얼굴 데이터베이스를 구성하고 공개한다.

제안 방법

• 2D 스케치를 256x256 이진 이미지로 표현하고 AlexNet에서 영감을 받은 네트워크를 통해 CNN 기반 특징을 추출한다.
• 스케치 계수로부터 3D 정점을 재구성하기 위해 아이덴티티와 표현 모드를 포함하는 bilinear 모형을 동시에 학습한다.
• 네트워크의 두 독립적인 가지를 사용하여 아이덴티티(u)와 표현(v) 벡터를 예측하여 간섭을 회피한다.
• 실루엣/윤곽선에서 포인트를 샘플링하고 이를 고정 길이 벡터로 각 가지에 입력하는 형태 수준의 입력를 도입한다.
• 지상 실측치와 예측 정점 위치 간의 L2 거리를 최소화하는 정점 손실 계층을 도입하여 엔드 투 엔드 학습을 가능하게 한다.
• 3단계로 학습한다: 아이덴티티/표현 분류, 그다음 u-v 회귀, 마지막으로 정점 수준 손실로 미세 조정; 합성 및 손으로 그린 스케치를 활용한 데이터 증가를 수행한다.

실험 결과

연구 질문

• RQ1 자유 손으로 그린 2D 스케치에서 3D 얼굴 형태를 CNN 기반 회귀 모델로 정확히 추론할 수 있는가?
• RQ2 bilinear morphable 표현이 스케치-3D 추론에서 아이덴티티와 표현을 어떻게 분리하는가?
• RQ3 후속 스케칭과 제스처 정제를 포함한 노동 효율적 인터페이스가 빠르게 사용 가능한 3D 얼굴을 생성하는가?
• RQ4 확장된 다양성의 3D 얼굴 데이터베이스가 스케치 기반 추론의 학습 및 평가에 어떤 영향을 주는가?

주요 결과

• 딥 회귀 네트워크는 bilinear 아이덴티티-표현 모델을 통해 2D 스케치로부터 3D 얼굴 메시를 추론할 수 있다.
• 두 가지 가지 구조는 아이덴티티와 표현 계수 간의 간섭을 감소시키고 재구성 정확도를 향상시킨다.
• 시스템은 초기 스케치, 후속 스케치, 제스처 기반 정제의 세 가지 인터랙션 모드를 지원하여 실시간으로 빠른 모델링 업데이트를 가능하게 한다.
• 15,000개의 메시지 데이터베이스(150 아이덴티티, 25 표현, 4 과장 수준)가 스케치 기반 얼굴 모델링의 학습 및 평가를 향상시킨다.
• 사용자 연구에서 아마추어 사용자는 몇 분 안에 3D 얼굴 또는 캐리커처 모델을 만들 수 있으며(예시가 10분 미만, 평균 약 8분)이다.