[논문 리뷰] Weakly-Supervised Multi-Face 3D Reconstruction

Jialiang Zhang, Lixiang Lin외 2명|arXiv (Cornell University)|2021. 01. 06.

Face recognition and analysis참고 문헌 41인용 수 12

한 줄 요약

이 논문은 단일 순방향 전파에서 다수의 얼굴에 대한 3D 얼굴 파라미터를 예측하는 약한 감독 기반의 단일 촬영(single-shot) 프레임워크를 제안한다. 이는 공통의 글로벌 카메라 모델을 활용하여 상대적인 3D 헤드 위치와 방향을 복원함으로써 계산 중복을 줄이고, 검출 또는 자르기 전처리가 필요 없는 효율적이고 배포 우수한 추론을 가능하게 한다.

ABSTRACT

3D face reconstruction plays a very important role in many real-world multimedia applications, including digital entertainment, social media, affection analysis, and person identification. The de-facto pipeline for estimating the parametric face model from an image requires to firstly detect the facial regions with landmarks, and then crop each face to feed the deep learning-based regressor. Comparing to the conventional methods performing forward inference for each detected instance independently, we suggest an effective end-to-end framework for multi-face 3D reconstruction, which is able to predict the model parameters of multiple instances simultaneously using single network inference. Our proposed approach not only greatly reduces the computational redundancy in feature extraction but also makes the deployment procedure much easier using the single network model. More importantly, we employ the same global camera model for the reconstructed faces in each image, which makes it possible to recover the relative head positions and orientations in the 3D scene. We have conducted extensive experiments to evaluate our proposed approach on the sparse and dense face alignment tasks. The experimental results indicate that our proposed approach is very promising on face alignment tasks without fully-supervision and pre-processing like detection and crop. Our implementation is publicly available at \url{https://github.com/kalyo-zjl/WM3DR}.

연구 동기 및 목표

• 검출 또는 자르기 전처리가 필요 없는 기존의 다중 얼굴 3D 재구성 파이프라인에서의 계산 비효율성과 배포 복잡성을 해결하기 위해.
• 단일 네트워크 순방향 전파를 통해 다수의 얼굴에 대한 3D 얼굴 모델 파라미터(형태, 텍스처, 조명, 자세)를 종단 간 예측할 수 있도록 하기 위해.
• 이미지 내 모든 얼굴에 대해 통합된 글로벌 카메라 모델을 적용하여 상대적인 3D 헤드 위치와 방향을 복원하기 위해.
• 완전한 감독 신호나 얼굴 검출 및 자르기와 같은 전처리 단계 없이도 고품질의 얼굴 정렬 및 재구성을 달성하기 위해.

제안 방법

• 다수의 얼굴에 대해 한 번의 순방향 전파에서 3D 얼굴 파라미터(형태, 알베도, 조명, 자세)를 동시에 회귀하는 단일 촬영, 종단 간 딥 러닝 프레임워크를 제안한다.
• 희소 2D 랜드마크 감독과 가분성 있는 이미지 형성(differentiable image formation)을 조합한 하이브리드 손실 함수를 사용하여 약한 감독 학습을 가능하게 한다.
• 이미지 내 모든 얼굴에 공통의 글로벌 카메라 모델을 적용하여 초점 거리와 카메라 중심을 일관되게 유지함으로써 상대적인 3D 시나리오 구조를 복원한다.
• 전체 프레임워크를 종단 간 최적화하기 위해 단계별 학습 전략을 도입하여 안정성과 수렴 성능을 향상시킨다.
• 중복된 특징 추출을 제거하기 위해 다수의 얼굴 정위치 및 3D 파라미터 예측을 위한 단일 딥 네ural 네트워크(ResNet-50 백본)를 활용한다.
• 가분성 렌더링을 적용하여 원본 이미지 픽셀을 사용해 3D 얼굴 재구성을 감독함으로써 3D 진짜값이 없이도 약한 감독을 가능하게 한다.

실험 결과

연구 질문

• RQ1 검출 및 자르기 전처리 없이도 단일 딥 네트워크가 다수의 얼굴에 대해 동시에 3D 얼굴 파라미터를 효과적으로 예측할 수 있는가?
• RQ2 공통의 글로벌 카메라 모델은 다중 얼굴 시나리오에서 상대적인 3D 헤드 위치와 방향 복원에 어떻게 기여하는가?
• RQ3 2D 랜드마크와 이미지 픽셀만으로도 약한 감독 학습을 통해 고해상도의 3D 얼굴 재구성을 어느 정도 달성할 수 있는가?
• RQ4 제안된 단일 촬영 프레임워크는 계산 효율성과 재구성 품질 측면에서 기존의 이단계 파이프라인을 초월하는가?

주요 결과

• 제안된 방법은 완전한 감독 기반 3D 신호나 전처리 단계 없이도 희소 및 조밀한 얼굴 정렬 작업에서 최신 기준 성능을 달성한다.
• 512×512 해상도의 이미지에 대해 추론 시간을 12ms로 단축시켜 얼굴 수에 관계없이 일정한 시간을 유지하며, 기존 파이프라인의 선형 증가와는 대비된다.
• 글로벌 카메라 모델의 도입으로 상대적인 3D 헤드 위치와 방향을 정확히 복원할 수 있었으며, 기존의 개별 얼굴 기반 독립적 모델링에서는 상실되는 정보를 회복한다.
• 정성적 결과에서는 MoFA, Tran 및 Genova et al. 대비 개선된 유사도, 텍스처 충실도 및 색상 일관성을 보였다.
• 특징 맵 분석을 통해 전처리 변동에 대해 강건함을 확인하였으며, 중심에 위치한 얼굴은 일관된 재구성 품질을 보였다.
• AFLW2000-3D 및 다중 얼굴 벤치마크에서 고해상도 재구성 정밀도를 달성하여 실제 환경에서의 효과성을 입증하였다.