[논문 리뷰] Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression

Aaron S. Jackson, Adrian Bulat외 2명|Research Repository (Kingston University London)|2017. 03. 22.

Face recognition and analysis참고 문헌 22인용 수 44

한 줄 요약

이 논문은 3D 모형적 모델 피팅을 생략하고, 2D 이미지에서 직접 3D 얼굴 기하 구조 부피를 추론하는 볼륨형 CNN을 사용하여 단일 2D 이미지로부터 직접 3D 얼굴 재구성 방법을 제안한다. 공간적으로 정렬된 볼륨형 회귀와 통합된 3D 랜드마크 가이던스를 통해 다양한 자세와 표정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D face reconstruction is a fundamental Computer Vision problem of extraordinary difficulty. Current systems often assume the availability of multiple facial images (sometimes from the same subject) as input, and must address a number of methodological challenges such as establishing dense correspondences across large facial poses, expressions, and non-uniform illumination. In general these methods require complex and inefficient pipelines for model building and fitting. In this work, we propose to address many of these limitations by training a Convolutional Neural Network (CNN) on an appropriate dataset consisting of 2D images and 3D facial models or scans. Our CNN works with just a single 2D facial image, does not require accurate alignment nor establishes dense correspondence between images, works for arbitrary facial poses and expressions, and can be used to reconstruct the whole 3D facial geometry (including the non-visible parts of the face) bypassing the construction (during training) and fitting (during testing) of a 3D Morphable Model. We achieve this via a simple CNN architecture that performs direct regression of a volumetric representation of the 3D facial geometry from a single 2D image. We also demonstrate how the related task of facial landmark localization can be incorporated into the proposed framework and help improve reconstruction quality, especially for the cases of large poses and facial expressions. Testing code will be made available online, along with pre-trained models http://aaronsplace.co.uk/papers/jackson2017recon

연구 동기 및 목표

• 복잡한 파ip라인, 3D 모형적 모델 피팅, 조밀한 대응 추정에 의존하는 기존 3D 얼굴 재구성 방법의 한계를 해결한다.
• 정확한 정렬, 3DMM 구축, 반복 최적화 없이도 단일 이미지에서 3D 얼굴 재구성을 가능하게 한다.
• 엔드 투 엔드 딥 러닝 접근을 통해 다양한 얼굴 자세, 표정, 가림 현상에서도 견고한 재구성을 달성한다.
• 재구성 품질 향상을 위해 프레임워크에 3D 얼굴 랜드마크 위치 추정을 통합한다. 특히 도전적인 조건에서 효과적이다.
• 통제된 환경과 비통제된 웹 이미지 양쪽에서 최신 기술 수준의 성능을 입증하며, 기존 최신 기술을 초월한다.

제안 방법

• 2D 이미지와 3D 얼굴 스캔의 쌍으로 구성된 데이터셋을 사용하여, 단일 2D 이미지에서 3D 얼굴 기하 구조 부피를 직접 회귀하는 3D 볼륨형 CNN을 훈련한다.
• 입력 이미지와 정렬된 고정된 3D 좌표계에 기반한 공간적으로 정렬된 볼륨 표현을 사용하여 3D 부피를 회귀한다.
• 3D 랜드마크 예측을 가우시안 히트맵을 통해 감독 신호로 통합한 유도된 변형(VRN-Guided)을 도입하여 공간 일관성을 향상시킨다.
• 예측된 3D 부피와 진짜 3D 부피 간의 회귀 손실을 사용하여 네트워크를 엔드 투 엔드 방식으로 훈련한다.
• 자세, 표정, 조명 변화에 대한 일반화를 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.
• 복잡한 최적화 루프 없이도 효율적인 훈련과 추론을 가능하게 하기 위해 단순하고 얕은 CNN 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 3D 모형적 모델 또는 반복 피팅에 의존하지 않고도 CNN이 단일 2D 이미지에서 3D 얼굴 기하 구조 부피를 직접 회귀할 수 있는가?
• RQ2 회귀 과정에서 3D 부피의 공간 정렬이 큰 자세에서 재구성 정확도를 향상시키는가?
• RQ3 극한의 자세와 표정 조건에서 3D 랜드마크 지도가 재구성 품질 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 통제된 환경과 비통제된 데이터 양쪽에서 최신 기술 수준의 3D 얼굴 재구성 기술과 비교해 성능가 어떻게 되는가?
• RQ5 랜드마크 지도와 가우시안 크기와 같은 네트워크 설계 선택 사항이 재구성의 내성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기존 방법에 비해 단일 이미지에서의 3D 얼굴 재구성에서 뚜렷한 승리를 거두었다.
• VRN-Guided 모델은 3DDFA 및 EOS와 같은 기존 최신 기술 방법과 비슷한 비지도 기반 기반 모델보다 평균 3D 재구성 오차를 크게 감소시켰다.
• 요동각이 증가함에 따라 얼굴가시면적이 감소하여 성능이 약간 저하되지만, 극한의 자세에서도 여전히 낮은 오차를 유지한다.
• 표정 변화가 재구성 오차에 거의 영향을 주지 않아, 극단적인 표정에 대한 훈련 데이터가 제한되어 있음에도 불구하고 내성성이 뛰어나다.
• 랜드마크 지도에 더 큰 가우시안 히트맵(σ=2)을 사용해도 성능 저하가 거의 없어, 히트맵 크기가 합리적인 한 지도가 효과적임을 확인하였다.
• 공간 정렬을 제거한 경우(예: 고정된 정면 부피를 회귀)는 얼굴 형태가 거의 동일하게 나타나 정확한 재구성에 필수적임을 확인하였다.