[논문 리뷰] Photorealistic Facial Texture Inference Using Deep Neural Networks

Shunsuke Saito, Lingyu Wei외 3명|arXiv (Cornell University)|2016. 12. 02.

Face recognition and analysis참고 문헌 15인용 수 12

한 줄 요약

이 논문은 사전 훈련된 VGG-19 네트워크의 중간층 특징 상관관계를 활용하여 단일 비구속 2D 이미지에서 사진처럼 생생한 고해상도 얼굴 텍스처 맵을 추론하는 딥러닝 기반 방법을 제시한다. 고해상도 얼굴 데이터베이스에서 유도된 특징 상관관계의 볼록 조합을 통해 완전하고 중간 척도 수준의 세부 정보(예: 모공, 잔주름)를 합성함으로써, 다중 시점 라이트 스테이지 시스템 수준의 사진처럼 생생한 3D 렌더링을 달성한다.

ABSTRACT

We present a data-driven inference method that can synthesize a photorealistic texture map of a complete 3D face model given a partial 2D view of a person in the wild. After an initial estimation of shape and low-frequency albedo, we compute a high-frequency partial texture map, without the shading component, of the visible face area. To extract the fine appearance details from this incomplete input, we introduce a multi-scale detail analysis technique based on mid-layer feature correlations extracted from a deep convolutional neural network. We demonstrate that fitting a convex combination of feature correlations from a high-resolution face database can yield a semantically plausible facial detail description of the entire face. A complete and photorealistic texture map can then be synthesized by iteratively optimizing for the reconstructed feature correlations. Using these high-resolution textures and a commercial rendering framework, we can produce high-fidelity 3D renderings that are visually comparable to those obtained with state-of-the-art multi-view face capture systems. We demonstrate successful face reconstructions from a wide range of low resolution input images, including those of historical figures. In addition to extensive evaluations, we validate the realism of our results using a crowdsourced user study.

연구 동기 및 목표

• 기존 단안 촬영 방법의 한계를 극복하고 단일 비구속 2D 이미지로부터 고정밀 3D 얼굴 재구성을 가능하게 하기 위해.
• 선형 PCA 모델이 포착하지 못하는 중간 척도 수준의 세부 정보(예: 모공, 잔주름)를 포함한 사진처럼 생생한 고해상도 알베도 텍스처 맵을 합성하기 위해.
• 딥 네트워크의 미세조정 없이도 주체의 유사성을 유지하면서 의미적으로 타당하고 현실적인 얼굴 텍스처를 생성하기 위해.
• 다중 시점 라이트 스테이지 데이터와 비교하여 사용자 중심의 커뮤니티 기반 사용자 연구를 통해 합성 텍스처의 현실성 검증하기 위해.

제안 방법

• 3D 얼굴 형태 재구성에서 선형 PCA 모델을 사용하여 초기 저주파 알베도를 추정한다.
• 입력 이미지의 가시 얼굴 영역에서 조명 효과를 제외한 고주파 텍스처 성분을 추출한다.
• 사전 훈련된 VGG-19 네트워크의 중간층 특징 상관관계를 사용하여 다중 스케일에서 고주파 얼굴 세부 정보를 표현한다.
• 대규모 고해상도 얼굴 텍스처 데이터베이스에서의 기준 상관관계를 볼록 조합하여 고주파 특징 상관관계의 완전한 세트를 추론한다.
• 초기 알베도를 백프로파게이션 및 쿼asi-뉴턴 방법을 사용하여 반복 최적화함으로써, 추론된 특징 상관관계와 일치하는 고해상도 알베도 텍스처 맵을 합성한다.
• 엔드 투 엔드 훈련을 피하기 위해 고정된 사전 훈련된 VGG-19 네트워크에 의존함으로써 빠른 추론과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크의 중간층 특징 상관관계가 불완전한 2D 입력에서 중간 척도 수준의 얼굴 텍스처 세부 정보를 효과적으로 표현하고 재구성할 수 있는가?
• RQ2 대규모 데이터베이스에서 특징 상관관계를 볼록 조합으로 블렌딩하면 선형 또는 최근접 이웃 접근 방식보다 더 의미적으로 타당하고 현실적인 얼굴 텍스처를 얻을 수 있는가?
• RQ3 제안된 방법이 저해상도, 부분적, 비구속 이미지에서 고해상도, 사진처럼 생생한 알베도 맵을 생성하면서도 주체의 유사성을 유지할 수 있는가?
• RQ4 고성능 다중 시점 시스템(예: 라이트 스테이지)으로 촬영한 기준 데이터와 비교했을 때 합성 텍스처의 현실성은 어떠한가?
• RQ5 비전문가 사용자들이 블라인드 사용자 연구에서 합성된 텍스처와 실제 텍스처를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 특징 상관관계의 볼록 조합을 사용한 제안된 방법이 사용자 연구에서 가장 높은 현실성 수준을 달성했으며, 56%의 참가자가 결과를 라이트 스테이지 촬영보다 더 사진처럼 생생하다고 평가했다.
• 커뮤니티 기반 사용자 연구에서 제안된 방법의 결과를 선호하는 참가자가 74%였으며, 이는 최첨단 시각화 프레임워크 결과보다도 높았고, PCA 기반 피팅 결과보다도 72%가 더 선호했다.
• 외곽치를 제거한 후에도 여전히 57%의 참가자가 합성 결과가 라이트 스테이지 데이터보다 더 현실적으로 평가했으며, 이는 강력한 인지적 품질을 시사한다.
• 저해상도 입력에서조차도 모공과 수염 털 같은 미세한 세부 정보를 성공적으로 재구성했으며, 역사적 인물의 경우에도 의미적으로 타당하고 공간적으로 일관된 결과를 도출했다.
• 특징 상관관계 블렌딩 기법이 패치매치 인painting 및 비구속 선형 조합보다 우수했으며, 반복 패atters나 의미적으로 잘못된 채움을 방지했다.
• 딥 네트워크의 미세조정 없이도 사전 훈련된 VGG-19 특징에 의존함으로써 고정밀 결과를 달성했으며, 이는 일반화 능력과 효율성을 입증했다.