[논문 리뷰] Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks

Jiangke Lin, Yi Yuan외 2명|arXiv (Cornell University)|2020. 03. 12.

Face recognition and analysis참고 문헌 40인용 수 10

한 줄 요약

이 논문은 단일 인-더-와일드 이미지에서 3D 모러포블 모델(3DMM)의 저해상도 질감을 개선하기 위해 그래프 컬러리티브 네트워크(GCNs)를 활용하는 새로운 코arse-to-fine 3D 얼굴 재구성 프레임워크를 제안한다. 이는 대규모 고해상도 UV 질감 데이터베이스가 필요 없이도 고해상도의 얼굴 질감을 달성한다. 이 방법은 GCN을 사용해 직접 메쉬 정점에 세밀한 RGB 색상을 전파함으로써, 정량적 및 정성적 평가에서 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

3D Morphable Model (3DMM) based methods have achieved great success in recovering 3D face shapes from single-view images. However, the facial textures recovered by such methods lack the fidelity as exhibited in the input images. Recent work demonstrates high-quality facial texture recovering with generative networks trained from a large-scale database of high-resolution UV maps of face textures, which is hard to prepare and not publicly available. In this paper, we introduce a method to reconstruct 3D facial shapes with high-fidelity textures from single-view images in-the-wild, without the need to capture a large-scale face texture database. The main idea is to refine the initial texture generated by a 3DMM based method with facial details from the input image. To this end, we propose to use graph convolutional networks to reconstruct the detailed colors for the mesh vertices instead of reconstructing the UV map. Experiments show that our method can generate high-quality results and outperforms state-of-the-art methods in both qualitative and quantitative comparisons.

연구 동기 및 목표

• 인-더-와일드 이미지에서 세밀한 얼굴 세부 정보를 포착하지 못하는 3DMM 기반 방법의 한계를 해결함으로써 저해상도 질감을 개선한다.
• 수집이 어려우며 비용이 많이 드는 대규모 고해상도 UV 질감 데이터베이스가 필요 없도록 제거한다.
• 학습 가능한 메쉬 기반 개선 프로세스를 통해 이미지 세부 정보를 활용해 3DMM의 거친 질감을 개선함으로써 질감의 정밀도를 향상시킨다.
• UV 매핑 기반 생성 방식이 아닌, 직접 정점 수준에서 색상 개선을 수행하기 위해 그래프 컬러리티브 네트워크(GCNs)의 사용을 탐색한다.
• 가능한 한 자율 학습 및 적대적 학습을 통해 미분 가능 렌더링을 활용해 최신 기술 수준의 3D 얼굴 재구성 성능를 달성한다.

제안 방법

• 단일 2D 이미지에서 3DMM 계수(정체성, 표정, 질감)와 렌더링 파rameter(자세, 조명)를 추정하는 CNN 회귀기 기반의 코arse-to-fine 프레임워크를 설계한다.
• 3DMM 모델은 평균 형태와 기저를 사용한 주성분 분석(PCA) 기반 재구성으로 초기 얼굴 형태와 거친 알베도 질감을 생성한다.
• 사전 학습된 FaceNet이 이미지 수준의 특징을 추출하며, 이를 GCN 리파인어에 입력하여 3D 메쉬 정점의 세밀한 색상 예측을 수행한다.
• 동일한 이미지 특징을 처리하기 위해 GCN 디코더를 사용하여 개선된 질감 임베딩을 생성하며, 이는 GCN 리파인어 출력과 결합된다.
• 결합된 특징은 커비네트를 통해 메쉬용 세밀한 고해상도 질감 맵을 생성한다.
• 자율 학습을 위해 미분 가능 렌더링 레이어를 사용하며, 현실감을 향상시키고 뿌연 현상을 줄이기 위해 GAN 손실을 통합한다.

실험 결과

연구 질문

• RQ1 단일 인-더-와일드 이미지만을 사용하여 대규모 UV 질감 데이터베이스에 의존하지 않고, 그래프 컬러리티브 네트워크(GCNs)가 정점 수준에서 3D 얼굴 질감을 효과적으로 개선할 수 있는가?
• RQ2 UV 공간 기반 질감 생성 방식과 비교해 GCN을 통한 정점 수준 질감 개선이 정밀도 및 세부 정보 보존 측면에서 어떻게 다른가?
• RQ3 학습 가능한 GCN 기반 개선 모듈을 통해 3DMM 기반 거친 재구성의 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 미분 가능 렌더링 레이어와 적대적 학습을 결합함으로써 재구성된 3D 얼굴의 현실감과 인지적 품질이 유의미하게 향상되는가?
• RQ5 UV 맵에 대한 완전 연결 또는 컨볼루션 레이어보다 GCN이 3D 얼굴 구조를 더 잘 모델링하면서 파라미터 수를 줄이고 공간 관계를 유지할 수 있는가?

주요 결과

• 제안된 방법은 CelebA-HQ 데이터셋에서 PSNR 29.69와 SSIM 0.894를 기록하여 기존 방법들보다 픽셀 수준 재구성 정밀도에서 뚜렷한 우월성을 보였다.
• 이 방법은 LightCNN 특징 유사도 스코어 0.900을 달성하여, 재구성된 3D 얼굴이 기준 이미지와 동일한 정체성으로 분류될 가능성이 높다는 것을 시사한다.
• 절단 실험 결과, $L_{pix}$, $L_{id}$, $L_{adv}$, $L_{vert}$ 손실을 모두 조합할 경우 성능이 최고로 향상되었으며, PSNR가 26.58에서 29.69로 증가했다.
• UV 공간에 완전 연결 또는 컨볼루션 레이어를 사용해 GCN을 대체하면 성능이 열 劣하므로(PSNR: 각각 25.88 및 27.54), GCN이 3D 구조를 더 잘 유지함을 입증한다.
• 고해상도 이미지(512×512)로 훈련할 경우 체크리스트 패tern 아티팩트가 감소하고 더 선명하고 현실적인 질감을 생성함을 정성적 비교를 통해 확인했다.
• MICC 데이터셋에서 VGG-Face 특징 유사도 측면에서 최신 기술 수준의 방법들을 능가했으며, 동일 정체성의 경우 EMD 스코어가 0.08로 낮고 정체성 유지가 더 일관된 편이었다.