[논문 리뷰] Self-supervised Multi-level Face Model Learning for Monocular Reconstruction at over 250 Hz

Ayush Tewari, Michael Zollhöfer외 5명|arXiv (Cornell University)|2017. 12. 07.

Face recognition and analysis참고 문헌 2인용 수 7

한 줄 요약

이 논문은 3D 모델링과 딥 레gressor를 동시에 학습하는 자기지도 학습 기반의 종단간(end-to-end) 훈련 가능한 단일 영상 3D 얼굴 재구성 방법을 제안한다. 이 방법은 기하학적 구조, 반사율(면도기 털 포함), 조명을 250Hz 이상의 고속으로 고해상도로 재구성한다. 3D 모어포픽 모델(3DMM)과 학습된 교정 공간, 그리고 미분 가능한 렌더러를 조합함으로써 전통적인 3DMM의 제한된 부분공간을 초월하는 일반화 능력을 확보하며, 밀도 높은 정답 데이터 없이 다중 수준 자기지도 학습 손실을 통해 훈련된다.

ABSTRACT

The reconstruction of dense 3D models of face geometry and appearance from a single image is highly challenging and ill-posed. To constrain the problem, many approaches rely on strong priors, such as parametric face models learned from limited 3D scan data. However, prior models restrict generalization of the true diversity in facial geometry, skin reflectance and illumination. To alleviate this problem, we present the first approach that jointly learns 1) a regressor for face shape, expression, reflectance and illumination on the basis of 2) a concurrently learned parametric face model. Our multi-level face model combines the advantage of 3D Morphable Models for regularization with the out-of-space generalization of a learned corrective space. We train end-to-end on in-the-wild images without dense annotations by fusing a convolutional encoder with a differentiable expert-designed renderer and a self-supervised training loss, both defined at multiple detail levels. Our approach compares favorably to the state-of-the-art in terms of reconstruction quality, better generalizes to real world faces, and runs at over 250 Hz.

연구 동기 및 목표

• 기존 3DMM의 저차원 부분공간을 초월하는 더 일반화 가능한 얼굴 모델을 학습함으로써 단일 영상 3D 얼굴 재구성의 불완전한 성질을 해결한다.
• 단일 RGB 영상에서 세밀한 얼굴 기하학, 반사율, 조명을 실시간으로(250Hz 이상) 빠르게 재구성할 수 있도록 한다.
• 밀도 높은 정답 데이터 없이 자기지도 학습을 활용해 월드 외 이미지에서 종단간 훈련을 가능하게 한다.
• 3DMM 정규화와 학습된 교정 공간을 조합함으로써 다양한 실제 얼굴(면도기 털, 메이크업, 복잡한 반사율 포함)에 대한 일반화 능력을 향상시킨다.

제안 방법

• 이 방법은 CNN 인코더와 미분 가능한 전문가가 설계한 렌더러를 갖춘 하이브리드 컨volution 오토에인코더를 사용하여 다중 수준의 해상도에서 영상 형성 과정을 모델링한다.
• 3DMM의 정규화와 학습된 교정 공간을 조합한 다중 수준 얼굴 모델을 학습함으로써 원래 3DMM 부분공간을 초월하는 일반화 능력을 확보한다.
• 광학적, 윤곽선, 형태/반사율 정규화 항을 포함한 다중 수준의 자율적 손실을 사용하여 네트워크를 훈련한다.
• 핵심 구성 요소로는 향상된 얼굴 정렬을 위한 윤곽선 제약, 형태 안정성 항, 반사율 희소성 사전(국소 및 전역)이 포함되어 있으며, 이는 그림자 오염을 반사율에 잘못 할당하는 것을 방지한다.
• 훈련 안정성을 유지하고 광학 재렌더링 오차를 줄이기 위해 레거서는 선형(애핀) 매핑을 사용한다.
• 훈련 과정은 이중 단계 스케줄을 사용한다: 먼저 3DMM을 사전 훈련하고, 이후 3DMM과 교정 공간을 CNN 인코더 및 렌더러와 함께 공동으로 미세조정한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반의 종단간 훈련 가능한 프레임워크가 단일 영상 3D 얼굴 재구성에 대해 더 일반화 가능한 얼굴 모델과 딥 레거서를 동시에 학습할 수 있는가?
• RQ2 3DMM 정규화와 학습된 교정 공간을 조합한 다중 수준 얼굴 모델이 면도기 털과 복잡한 반사율을 포함한 실제 세계의 다양한 얼굴에 대해 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 미분 가능한 렌더러와 다중 수준 자기지도 학습 손실이 밀도 높은 정답 데이터 없이도 고해상도 재구성을 얼마나 잘 가능하게 하는가?
• RQ4 형태 및 반사율 정규화 항(예: 희소성, 평탄성)이 재구성 품질과 안정성에 미치는 영향은 어떠한가?

주요 결과

• 이 방법은 250Hz 이상의 추론 속도를 달성하여 실시간 단일 영상 3D 얼굴 재구성 가능하다.
• 형태 및 반사율에 대해 500개의 교정 매개변수를 갖는 네트워크가 광학 재렌더링 오차를 가장 낮게 유지하며, 기준 3DMM 전용 모델(C = 0)보다 뛰어난 성능을 보였다.
• 반사율 희소성 사전을 제거할 경우, 그림자를 반사율에 잘못 할당하는 현상이 발생함을 확인하여, 정확한 표면 외관 추정을 위해 이러한 사전의 필요성을 입증하였다.
• 형태 정규화 항(안정성 및 평탄성)은 필수적이다. 이들을 제거할 경우 교정 이동량의 심각한 과소약속으로 인해 훈련이 실패한다.
• 합성 테스트 데이터에서 반사율 예측은 픽셀당 RGB 오차 0.072를 기록하여 반사율 추정의 높은 정확도를 입증하였다.
• 면도기 털과 메이크업을 포함한 도전적인 실제 케이스에 대해서도 강력한 일반화 능력을 보이며, 최신의 최적화 기반 및 학습 기반 방법보다 재구성 품질과 안정성 면에서 뛰어난 성능을 보였다.