[논문 리뷰] A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

Biwen Lei, Jianqiang Ren외 3명|arXiv (Cornell University)|2023. 02. 28.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 얼굴별 블렌드쉐이프, 정점별 변형, 픽셀별 이동맵을 사용하여 얼굴 기하학을 저주파, 중주파, 고주파 성분으로 분리함으로써, 자연광 촬영 이미지에서 고해상도 3D 얼굴 재구성에 적합한 계층적 표현 네트워크(HRN)를 제안한다. 이 방법은 3D 얼굴 세부 정보 사전 지식과 탈가공 모듈을 통합하여 정확성과 현실감을 향상시키며, 단시야 및 다시야 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하였고, 새로운 고품질 데이터셋인 FaceHD-100을 포함한다.

ABSTRACT

Limited by the nature of the low-dimensional representational capacity of 3DMM, most of the 3DMM-based face reconstruction (FR) methods fail to recover high-frequency facial details, such as wrinkles, dimples, etc. Some attempt to solve the problem by introducing detail maps or non-linear operations, however, the results are still not vivid. To this end, we in this paper present a novel hierarchical representation network (HRN) to achieve accurate and detailed face reconstruction from a single image. Specifically, we implement the geometry disentanglement and introduce the hierarchical representation to fulfill detailed face modeling. Meanwhile, 3D priors of facial details are incorporated to enhance the accuracy and authenticity of the reconstruction results. We also propose a de-retouching module to achieve better decoupling of the geometry and appearance. It is noteworthy that our framework can be extended to a multi-view fashion by considering detail consistency of different views. Extensive experiments on two single-view and two multi-view FR benchmarks demonstrate that our method outperforms the existing methods in both reconstruction accuracy and visual effects. Finally, we introduce a high-quality 3D face dataset FaceHD-100 to boost the research of high-fidelity face reconstruction. The project homepage is at https://younglbw.github.io/HRN-homepage/.

연구 동기 및 목표

• 3DMM 기반 방법이 주름, 찌그러짐과 같은 고주파 얼굴 세부 정보를 포착하는 데에 한계가 있음을 해결하기 위해.
• 저주파, 중주파, 고주파 성분으로 얼굴 기하학을 분리함으로써 재구성 정확성과 시각적 사실성 향상.
• 피부 병변과 조명 효과 간의 혼동을 줄이기 위해 탈가공 모듈을 도입하여 기하학과 외관을 더 효과적으로 분리.
• 희소 입력 시야에서 성능을 향상시키기 위해 프레임워크를 다시야 재구성으로 확장.
• 고품질 3D 얼굴 데이터셋인 FaceHD-100을 제공하여 고해상도, 희소 시야 얼굴 재구성 분야의 연구를 촉진.

제안 방법

• 계층적 표현 전략을 활용하여 저주파 기하학은 3DMM 계수로 모델링하고, 중주파 세부 정보는 정점별 변형 맵으로, 고주파 세부 정보는 픽셀별 이동 맵으로 표현.
• 단일 이미지에서 변형 및 이동 맵을 예측하기 위해 두 개의 이미지 변환 네트워크를 사용하여 굵은 단계에서 세밀한 단계로의 재구성 가능.
• 실제 얼굴 스캔에서 학습한 중주파 및 고주파 얼굴 세부 정보의 3D 사전 지식을 도입하여 현실적인 기하학 모델링을 안내.
• 피부 질감과 조명의 모호성으로 인한 아티팩트를 줄이기 위해 기본 텍스처를 보정하는 탈가공 모듈을 도입.
• 다시야 얼굴 재구성(MV-HRN)을 위해 다양한 시야 간 세부 기하학의 일致성을 강제함으로써 프레임워크를 확장.
• 얼굴 윤곽 정확성을 향상시키기 위해 윤곽 인식 손실을 적용하고 기하학적 정밀도를 향상시키기 위해 다중 척도 손실을 함께 사용하여 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 표준 3DMM의 한계를 넘어서 중주파 및 고주파 얼굴 세부 정보를 효과적으로 분리하고 모델링할 수 있는 계층적 표현 전략이 가능한가?
• RQ2 얼굴 세부 정보의 3D 사전 지식이 재구성된 기하학의 현실감과 정확성에 어떻게 기여하는가?
• RQ3 탈가공 모듈이 자연광 촬영 이미지에서 기하학과 외관의 분리에 얼마나 기여하는가?
• RQ4 희소 입력 시야에서 단시야 HRN 프레임워크를 효과적으로 다이어그램 재구성으로 확장할 수 있는가?
• RQ5 제안된 FaceHD-100 데이터셋은 기존 벤치마크에 비해 고해상도, 희소 시야 얼굴 재구성에 얼마나 효과적인가?

주요 결과

• 다시야 FaceScape 벤치마크에서 HRN은 중앙값 재구성 오차 1.13mm를 기록하여 MVFNet(1.76mm) 및 DFNRMVS(1.79mm)와 같은 이전 방법들을 능가했다.
• 단시야 FFHQ 벤치마크에서 HRN은 중앙값 오차를 1.13mm로 줄여 SOTA 방법인 DFNRMVS(1.79mm) 및 MVFNet(1.76mm)를 뛰어넘었다.
• 절단 실험 결과 계층적 모델링은 기본 3DMM 대비 약 0.5mm의 오차 감소를 보였고, 3D 세부 정보 사전 지식은 약 0.3mm의 성능 향상을 기여했다.
• 탈가공 모듈은 기하학과 외관의 혼동을 줄여 더 현실적인 텍스처를 생성하고 피부 병변으로 인한 잘못된 세부 정보를 제거했다.
• MV-HRN은 단지 두 개의 입력 시야(1.17mm 오차)에서도 일관된 성능을 보였으며, 더 많은 시야가 제공될수록 성능이 향상되었고, 단순 평균화 기반 베이스라인을 능가했다.
• 2,000개의 고해상도 3D 얼굴 모델과 고해상도 다시야 이미지를 포함하는 FaceHD-100 데이터셋의 도입은 향후 희소 시야, 고해상도 얼굴 재구성 연구를 지원한다.