[논문 리뷰] FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

Haotian Yang, Hao Zhu외 5명|arXiv (Cornell University)|2020. 03. 31.

Face recognition and analysis참고 문헌 63인용 수 12

한 줄 요약

이 논문은 938명의 피험자에서 20개의 표정으로 촬영한 18,760개의 고해상도 질감이 구현된 3D 얼굴을 포함하는 대규모 3D 얼굴 데이터셋 FaceScape를 소개한다. 이는 모낭 수준의 기하학적 구조를 캡처한다. 이는 이중선형 매arametric 모델을 통해 동적인 얼굴 세부 사항을 학습함으로써 단일 이미지에서 세밀하고 레이어링 가능한 3D 얼굴 모델을 예측하는 딥 러닝 파이프라인을 제안한다. 이는 최신 기술 수준의 재구성 정확도를 달성하며 세밀한 기하학적 세부 사항을 포함한 자연스러운 표정 애니메이션을 가능하게 한다.

ABSTRACT

In this paper, we present a large-scale detailed 3D face dataset, FaceScape, and propose a novel algorithm that is able to predict elaborate riggable 3D face models from a single image input. FaceScape dataset provides 18,760 textured 3D faces, captured from 938 subjects and each with 20 specific expressions. The 3D models contain the pore-level facial geometry that is also processed to be topologically uniformed. These fine 3D facial models can be represented as a 3D morphable model for rough shapes and displacement maps for detailed geometry. Taking advantage of the large-scale and high-accuracy dataset, a novel algorithm is further proposed to learn the expression-specific dynamic details using a deep neural network. The learned relationship serves as the foundation of our 3D face prediction system from a single image input. Different than the previous methods, our predicted 3D models are riggable with highly detailed geometry under different expressions. The unprecedented dataset and code will be released to public for research purpose.

연구 동기 및 목표

• 세밀한 기하학적 세부 사항과 토폴로지 일관성을 갖춘 대규모 고품질 3D 얼굴 데이터셋의 부족을 해결하기 위해.
• 이전 방법들이 단일 이미지에서 주름과 같은 미세한 동적 얼굴 세부 사항을 예측하는 데에 한계를 가졌다는 점을 극복하기 위해.
• 다양한 표정에서 고정밀 기하학적 구조를 갖춘 레이어링 가능한 3D 얼굴 모델을 생성하는 딥 러닝 기반 시스템을 개발하기 위해.
• 대규모 데이터셋에서 표정별 동적 세부 사항을 학습함으로써 정확한 3D 얼굴 재구성 및 애니메이션을 가능하게 하기 위해.

제안 방법

• 통제된 조명 조건 하에서 68대의 밀도 높은 카메라 어레이를 사용해 18,760개의 고해상도 3D 얼굴 스캔을 캡처하여 모낭 수준의 기하학적 세부 사항을 확보했다.
• 원시 스캔을 토폴로지가 균일한 기본 메쉬와 이격 지도로 변환하여 거친 형태와 세밀한 세부 사항을 분리했다.
• 처리된 데이터를 기반으로 신체와 표정 공간에서 이중선형 매개변수 모델을 구축하여 강력한 형태 표현을 확보했다.
• 표현별 변형 지도에 조건화된 단일 이미지에서 이격 지도와 동적 세부 사항을 예측하는 딥 신경망을 제안했다.
• 기본 모델 피팅, 이격 지도 예측, 동적 세부 사항 합성의 세 단계로 구성된 파이프라인을 설계하여 완전한 레이어링 가능한 3D 얼굴 생성을 구현했다.
• 일관되고 제어 가능한 얼굴 기하학을 보장하기 위해 50개의 신체, 52개의 표정, 100개의 알베도 매개변수를 갖는 매개변수 모델을 사용했다.

실험 결과

연구 질문

• RQ1 밀도 높은 다중 시점 카메라 시스템을 사용해 모낭 수준의 기하학적 세부 사항을 갖춘 대규모 3D 얼굴 데이터셋을 구축할 수 있는가?
• RQ2 딥 러닝을 활용해 단일 이미지에서 주름과 같은 동적 얼굴 세부 사항을 효과적으로 예측할 수 있는가?
• RQ3 고품질 데이터 기반의 이중선형 매개변수 모델이 3D 얼굴 재구성의 정밀도를 어느 정도 향상시킬 수 있는가?
• RQ4 예측된 3D 얼굴 모델이 세밀한 기하학적 세부 사항을 포함한 자연스러운 표정을 생성할 수 있는가?
• RQ5 동적 세부 사항 학습과 변형 지도 조건화가 합성된 얼굴 기하학의 현실감과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 모든 표정에서 평균 점-면 재구성 오차가 1.39 mm로, 이전 방법들인 DFDN(2.19 mm), Extreme3D(2.06 mm), 3DDFA(2.17 mm)를 능가하는 성능을 보였다.
• 동적 세부 사항이 포함된 모델은 원본 표정에서 평균 오차가 1.22 mm로, 입력 얼굴 기하학의 재구성 정확도가 매우 높음을 입증했다.
• 제거 실험 결과, 동적 세부 사항 학습과 변형 지도 조건화가 모두 표정별 주름 생성에 필수적임을 확인했으며, 이들의 결여는 세밀한 기하학적 세부 사항의 손실을 초래했다.
• 시각적 비교 결과, 예측된 모델은 이전 방법으로 복원할 수 없었던 사진 수준의 현실감 있고 표정에 따라 달라지는 주름을 포함하고 있음을 확인했다.
• 18,760개의 고정밀 3D 얼굴을 포함한 FaceScape 데이터셋은 현재까지 공개된 바에서 가장 세밀하고 광범위한 3D 얼굴 데이터를 제공하며, 우수한 모델 학습을 가능하게 한다.
• 공개된 데이터셋과 코드는 3D 얼굴 모델링, 애니메이션 및 단일 이미지 재구성 분야의 연구를 가속화할 것으로 기대된다.