[논문 리뷰] Face Frontalization Based on Robustly Fitting a Deformable Shape Model to 3D Landmarks

Zhiqi Kang, Mostafa Sadeghi외 1명|arXiv (Cornell University)|2020. 10. 26.

Face recognition and analysis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 3D 얼굴 랜드마크 간의 강성 변환(스케일, 회전, 이동)과 비강성 변형을 동시에 추정함으로써, 비정상적인 오차와 무거운 尾尾 분포를 가진 데이터에 대해 강건한 3D 점집합 정렬 방법을 제안한다. 일반화된 스udent의 t-분포를 사용하여 내재값과 외재값을 모델링하고, EM 알고리즘을 통해 픽셀 단위 정렬을 실현함으로써, 프ofile-to-frontal 얼굴 데이터셋에서 평균이 0인 정규화 상관관계(ZNCC)로 측정된 정면화 품질에서 최신 기술 수준을 달성한다.

ABSTRACT

Face frontalization consists of synthesizing a frontally-viewed face from an arbitrarily-viewed one. The main contribution of this paper is a robust face alignment method that enables pixel-to-pixel warping. The method simultaneously estimates the rigid transformation (scale, rotation, and translation) and the non-rigid deformation between two 3D point sets: a set of 3D landmarks extracted from an arbitrary-viewed face, and a set of 3D landmarks parameterized by a frontally-viewed deformable face model. An important merit of the proposed method is its ability to deal both with noise (small perturbations) and with outliers (large errors). We propose to model inliers and outliers with the generalized Student's t-probability distribution function, a heavy-tailed distribution that is immune to non-Gaussian errors in the data. We describe in detail the associated expectation-maximization (EM) algorithm that alternates between the estimation of (i) the rigid parameters, (ii) the deformation parameters, and (iii) the Student-t distribution parameters. We also propose to use the zero-mean normalized cross-correlation, between a frontalized face and the corresponding ground-truth frontally-viewed face, to evaluate the performance of frontalization. To this end, we use a dataset that contains pairs of profile-viewed and frontally-viewed faces. This evaluation, based on direct image-to-image comparison, stands in contrast with indirect evaluation, based on analyzing the effect of frontalization on face recognition.

연구 동기 및 목표

• 임의의 시점에서 정면 시점으로의 픽셀-픽셀 정렬을 가능하게 하는 강건한 정면화 방법을 개발한다.
• 무거운 尾尾 분포를 가진 통계 모델을 사용하여 3D 얼굴 랜드마크 정렬에서의 노이즈와 외곽치를 동시에 다룬다.
• 간접적인 인식 기반 평가와 대비하여, 직접적인 영상 수준 평가 지표를 제공함으로써 정면화 품질을 직접 평가한다.
• 기대값-최대화(EM) 프레임워크를 통한 동시 최적화를 통해 정확한 강성 및 비강성 매개변수 추정을 실현한다.

제안 방법

• 비정규 오차와 무거운 尾尾 데이터에 강건한 일반화된 스튜던트의 t-확률 분포를 사용하여 내재값과 외곽치를 모델링한다.
• 반복적으로 강성 매개변수(스케일, 회전, 이동), 변형 매개변수(형상 계수), t-분포 매개변수(자유도, 위치, 척도)를 추정하는 기대값-최대화(EM) 알고리즘을 적용한다.
• 주성분 분석(PCA) 기반의 평균 형상과 기저를 사용하여 비강성 얼굴 변형을 표현하는 통계적 형상 모델을 사용한다.
• 정면화된 이미지와 참값 정면 이미지 간의 평균이 0인 정규화 상관관계(ZNCC)를 직접적인 영상 수준 평가 지표로 사용한다.
• 정면화된 3D 형상 모델에서 삼각형 메쉬 보간을 통해 고밀도 깊이 맵을 복원하여 픽셀 단위 정렬을 가능하게 한다.
• 형상 매개변수에 99% 신뢰 타원체 제약 조건을 통합하여 변형 공간의 정규화를 도모하고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 강건한 3D 점집합 정렬 방법은 얼굴 랜드마크 데이터의 노이즈와 외곽치를 효과적으로 다룰 수 있는가?
• RQ2 일반화된 스튜던트의 t-분포를 사용하여 내재값과 외곽치를 모델링할 경우, 가우시안 기반 방법에 비해 정렬 정확도가 어떻게 향상되는가?
• RQ3 직접적인 영상 간 유사도 측정을 통해, 제안된 방법이 얼마나 높은 수준의 픽셀-픽셀 정렬을 달성하는가?
• RQ4 EM 알고리즘을 통한 강성 자세와 비강성 변형의 동시 추정은 최신 기술 수준의 방법보다 더 우수한 정면화 결과를 낳는가?

주요 결과

• 제안된 방법은 프ofile-to-frontal 얼굴 데이터셋에서 두 개의 최신 기술 수준 방법보다 더 높은 평균이 0인 정규화 상관관계(ZNCC) 점수를 확보하여, 영상 수준의 정면화 품질이 뛰어나다는 것을 시사한다.
• 일반화된 스튜던트의 t-분포 사용은 3D 랜드마크 데이터에서의 외곽치와 비정규 오차에 대한 강건성을 크게 향상시킨다.
• EM 기반 최적화 프레임워크는 강성 자세, 비강성 변형, 통계 모델 매개변수를 동시에 추정하는 안정적인 해에 수렴하는 데 성공한다.
• 형상 매개변수에 99% 신뢰 타원체 제약 조건을 통합함으로써 정면화된 얼굴 형상의 안정성과 현실감이 향상된다.
• ZNCC를 통한 직접 평가 방법은 간접적인 인식 기반 평가와 보완되는 신뢰할 수 있는 영상 수준 기준을 제공한다.