[논문 리뷰] Learning Detailed Face Reconstruction from a Single Image

Elad Richardson, Matan Sela외 2명|arXiv (Cornell University)|2016. 11. 15.

Face recognition and analysis참고 문헌 40인용 수 9

한 줄 요약

이 논문은 단일 이미지에서 고해상도 3D 얼굴 재구성을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 두 단계의 CNN 파이프라인을 사용한다: CoarseNet은 3D 모델형태 모델(3DMM)을 통해 거친 3D 얼굴 형태를 예측하고, 그 다음 FineNet은 유연한 렌더링 레이어와 비지도 형태에서의 조명 손실을 사용하여 세부 사항을 보정한다. 이 방법은 FRGC V2 데이터셋에서 평균 깊이 오차 3.22 mm를 기록하여 기존의 단일 이미지 방법보다 뛰어난 정확도를 달성한다.

ABSTRACT

Reconstructing the detailed geometric structure of a face from a given image is a key to many computer vision and graphics applications, such as motion capture and reenactment. The reconstruction task is challenging as human faces vary extensively when considering expressions, poses, textures, and intrinsic geometries. While many approaches tackle this complexity by using additional data to reconstruct the face of a single subject, extracting facial surface from a single image remains a difficult problem. As a result, single-image based methods can usually provide only a rough estimate of the facial geometry. In contrast, we propose to leverage the power of convolutional neural networks to produce a highly detailed face reconstruction from a single image. For this purpose, we introduce an end-to-end CNN framework which derives the shape in a coarse-to-fine fashion. The proposed architecture is composed of two main blocks, a network that recovers the coarse facial geometry (CoarseNet), followed by a CNN that refines the facial features of that geometry (FineNet). The proposed networks are connected by a novel layer which renders a depth image given a mesh in 3D. Unlike object recognition and detection problems, there are no suitable datasets for training CNNs to perform face geometry reconstruction. Therefore, our training regime begins with a supervised phase, based on synthetic images, followed by an unsupervised phase that uses only unconstrained facial images. The accuracy and robustness of the proposed model is demonstrated by both qualitative and quantitative evaluation tests.

연구 동기 및 목표

• 표현, 자세, 조명, 텍스처의 변동으로 인해 복잡한 단일 2D 이미지에서 세밀한 3D 얼굴 기하학을 재구성하는 것은 불완전한 문제이므로 이를 해결하고자 한다.
• 기존의 단일 이미지 방법이 거친 재구성을 제공하는 데 한계가 있으므로, 세부 사항 복구를 위한 두 단계의 딥 러닝 파이프라인을 도입하고자 한다.
• 수동 애너테이션이나 외부 초기화에 의존하지 않기 위해 합성 데이터로 학습한 후 실재 이미지에서 비지도로 보정하는 방식을 사용하고자 한다.
• 3DMM 기반 거친 기하학 예측자와 세부 사항 보정 네트워크 간의 엔드 투 엔드 학습을 가능하게 하는 새로운 유연한 렌더링 레이어를 통해 기울기 역전파를 지원하고자 한다.
• 다중 영상, 영상 또는 깊이 사전 지식 없이도 고해상도 3D 얼굴 재구성을 가능하게 하고자 한다.

제안 방법

• 프레임워크는 합성 데이터로 학습된 CoarseNet을 사용하여 3D 모델형태 모델(3DMM)을 활용해 3D 얼굴 형태를 예측하고 얼굴 자세를 추정한다.
• FineNet은 완전 컨볼루션 네트워크로서 실재 얼굴 이미지에서 비지도 방식으로 학습된 형태에서의 조명 유사 손실을 사용해 거친 깊이 맵을 보정하여 세부 얼굴 특징을 학습한다.
• 새로운 유연한 렌더링 레이어는 3DMM 기반의 거친 기하학과 자세를 2D 깊이 맵으로 변환하여, 엔드 투 엔드 학습 중 CoarseNet으로의 기울기 전파를 가능하게 한다.
• 학습 제도는 이중 단계 접근 방식을 사용한다: 지도 학습을 통해 합성 이미지에서 진짜 3DMM 기하학을 사용하고, 이후 비지도로 실재 이미지에서의 정밀 조정을 수행한다.
• FineNet의 손실 함수는 형태에서의 조명 원리의 축약적 원칙에 기반하여 고주파 수준의 얼굴 특징을 유지하도록 설계되었다.
• 아키텍처는 다양한 입력 해상도를 지원하여, 재학습 없이도 200×200에서 400×400 이미지까지 네트워크가 유연하게 확장 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 다중 시야나 깊이 사전 지식이 없이도 딥 러닝 프레임워크가 단일 이미지에서 세밀한 3D 얼굴 기하학을 재구성할 수 있는가?
• RQ2 유연한 렌더링 레이어가 3DMM 기반의 거친 기하학 예측자와 세부 사항 보정 네트워크 간의 엔드 투 엔드 학습을 어떻게 가능하게 하는가?
• RQ3 비지도 설정에서 형태에서의 조명 유사 손실이 실재 이미지에서만으로 세부 얼굴 특징을 얼마나 잘 복구할 수 있는가?
• RQ4 두 단계의 CNN 파이프라인은 자세나 표정 변화에 대해 기존의 단일 이미지 재구성 방법보다 정확도와 강인성 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 합성 데이터를 사용해 거친 형태 학습을 하고 실재 데이터로 세부 사항 보정을 수행하는 조합이 고해상도 재구성에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 FRGC V2 데이터셋에서 평균 깊이 오차 3.22 mm를 기록하여, [48], [34], [20]을 포함한 모든 비교 방법보다 뛰어난 성능을 보였다.
• 실제 환경 이미지에서 다양한 자세와 표정을 가진 이미지에서의 정성적 비교 결과, [34]와 [48]보다 훨씬 더 세밀한 얼굴 기하학을 생성하였다.
• FineNet은 입력 해상도에 대해 강인한 성능을 보였으며, 200×200 입력으로 학습된 후에도 400×400 이미지에서 더 높은 품질의 세부 사항을 생성하였다.
• Figure 8에서 보여지듯이, 근접한 90° 각도의 극단적인 머리 자세에서도 정확도와 세부 사항 복구 능력을 유지하였다.
• 비지도 학습 단계에서 CoarseNet은 약간의 조정을 겪었지만, 주로 보정은 FineNet에서 이루어졌으며, 이는 3DMM 표현이 CoarseNet의 세부 사양에 대한 적응 능력을 제한한다는 것을 시사한다.
• 유연한 렌더링 레이어는 깊이 맵에서 3DMM 파rameter로의 기울기 흐름을 성공적으로 구현하여, 두 네트워크의 공동 최적화를 가능하게 하였다.