[논문 리뷰] Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency

Jiaxiang Shang, Tianwei Shen외 5명|arXiv (Cornell University)|2020. 07. 24.

Face recognition and analysis참고 문헌 67인용 수 11

한 줄 요약

이 논문은 자가학습 기반 단안 3차원 얼굴 재구성 방법인 MGCNet을 제안한다. 이 방법은 자세와 깊이의 모호성을 해결하기 위해 다중 시점 기하학적 일致성 조건을 강제한다. 비추상화된 시점 합성 프레임워크와 세 가지 새로운 손실 함수(픽셀, 깊이, 에피포라)를 도입함으로써, 큰 자세 변화, 표정 변화, 조명 변화와 같은 도전적인 조건에서도 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recent learning-based approaches, in which models are trained by single-view images have shown promising results for monocular 3D face reconstruction, but they suffer from the ill-posed face pose and depth ambiguity issue. In contrast to previous works that only enforce 2D feature constraints, we propose a self-supervised training architecture by leveraging the multi-view geometry consistency, which provides reliable constraints on face pose and depth estimation. We first propose an occlusion-aware view synthesis method to apply multi-view geometry consistency to self-supervised learning. Then we design three novel loss functions for multi-view consistency, including the pixel consistency loss, the depth consistency loss, and the facial landmark-based epipolar loss. Our method is accurate and robust, especially under large variations of expressions, poses, and illumination conditions. Comprehensive experiments on the face alignment and 3D face reconstruction benchmarks have demonstrated superiority over state-of-the-art methods. Our code and model are released in https://github.com/jiaxiangshang/MGCNet.

연구 동기 및 목표

• 단일 이미지에서의 3차원 얼굴 재구성 문제를 해결하되, 특히 자세 추정과 깊이 추정의 모호성을 해결한다.
• 기존 자가학습 방법들이 2D 랜드마크와 픽셀 수준의 손실에만 의존하여 3차원 기하학적 제약을 제공하지 못하는 한계를 극복한다.
• 공개된 다중 시점 데이터(예: 영상)를 활용하여 3D 지도 없이도 다중 시점 간 기하학적 일관성을 강제한다.
• 표정, 자세, 조명 조건의 큰 변화에 잘 일반화되는 견고한 프레임워크를 개발한다.
• 다중 시점 기하학적 제약 조건을 통해 단지 자가학습 지도만을 사용하여 정확한 3차원 얼굴 재구성을 가능하게 한다.

제안 방법

• 다양한 원천 시점에서 추정된 깊이와 자세를 이용해 목표 시점 이미지를 생성하는 비추상화된 시점 합성 방법을 제안한다.
• 자기 음영으로 인한 오류를 줄이기 위해 신뢰할 수 있는 픽셀 대응 관계를 식별하는 공시가 지도를 도입한다.
• 실제 이미지와 합성된 이미지 간의 광학 일관성을 강제하기 위해 픽셀 일관성 손실을 설계한다.
• 다중 시점 삼각측량에서 유도된 기하학적 제약 조건을 이용해 깊이 추정을 정규화하기 위해 깊이 일관성 손실을 제안한다.
• 3DMM에서 투영된 2D 랜드마크를 기반으로 한 에피포라 손실을 개발하여 에피포라 기하학적 제약 조건을 강제한다.
• 3개의 새로운 손실 함수를 최적화하여 RGB 이미지만으로 끝에서 끝까지 학습하며, 3D 진짜 지도가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 자가학습 기반 3차원 얼굴 재구성에서 다중 시점 기하학적 일관성이 자세와 깊이의 모호성을 줄이는데 효과적으로 활용될 수 있는가?
• RQ2 비추상화된 시점 합성은 3차원 얼굴 재구성에서 다중 시점 일관성의 신뢰성을 어떻게 향상시키는가?
• RQ3 제안된 픽셀, 깊이, 에피포라 일관성 손실은 2D만의 지도 학습에 비해 재구성 정확도를 얼마나 향상시키는가?
• RQ4 표정, 자세, 조명 조건의 극단적인 변화 상황에서 이 방법의 성능은 어떠한가?
• RQ5 명시적인 3D 지도 없이도 이론적으로나 실제 환경 데이터와 비슷한 데이터셋에 일반화될 수 있는가?

주요 결과

• MGCNet은 300W-LP와 AFLW20003D 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하여 이전의 자가학습 및 지도 학습 방법보다 3차원 얼굴 재구성 품질에서 뛰어난 성능을 보였다.
• BU-3DFE 데이터셋에서 MGCNet은 다양한 표정 변화 상황에서도 정확한 재구성을 생성하여 신원과 표정 변화에 대한 강건성을 입증했다.
• 정성적 결과 분석에서 MGCNet은 종종 진짜 랜드마크보다 더 정확한 2D 얼굴 랜드마크를 예측함으로써 정렬 성능 향상이 있음을 보여주었다.
• 이 방법은 실제 환경 데이터에 잘 일반화되어 단일 이미지에서 생생하고 기하학적으로 정확한 3차원 얼굴 재구성을 생성할 수 있었다.
• 제거 실험 결과, 제안된 세 가지 손실 함수(픽셀, 깊이, 에피포라) 각각이 최종 성능에 기여하며, 특히 에피포라 손실이 자세 추정의 안정성 향상에 뛰어난 효과를 보였다.
• MGCNet은 MICC Florence 데이터셋에서도 뛰어난 성능을 보였으며, 특히 큰 자세 변화 상황에서 RingNet 및 Deng et al. 등의 방법을 능가했다.