[논문 리뷰] UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition

Jiankang Deng, Shiyang Cheng외 3명|arXiv (Cornell University)|2017. 12. 13.

Face recognition and analysis참고 문헌 35인용 수 5

한 줄 요약

UV-GAN은 자연광 촬영 이미지에서 3D 얼굴 모델 피팅을 통해 유도된 불완전한 얼굴 UV 매핑을 보완하기 위해 생성적 적대적 네트워크를 제안하며, 신원을 유지하기 위해 국소 및 전반적 적대적 훈련을 사용한다. 완성된 UV 매핑에서 임의의 자세를 갖는 얼굴을 합성함으로써 훈련 시 자세 다양성을 향상시키고 테스트 시 자세 불일치를 감소시킨다. CFP 프론트럴-프로파일 프로토콜에서 94.05%의 최고 성능을 기록한다.

ABSTRACT

Recently proposed robust 3D face alignment methods establish either dense or sparse correspondence between a 3D face model and a 2D facial image. The use of these methods presents new challenges as well as opportunities for facial texture analysis. In particular, by sampling the image using the fitted model, a facial UV can be created. Unfortunately, due to self-occlusion, such a UV map is always incomplete. In this paper, we propose a framework for training Deep Convolutional Neural Network (DCNN) to complete the facial UV map extracted from in-the-wild images. To this end, we first gather complete UV maps by fitting a 3D Morphable Model (3DMM) to various multiview image and video datasets, as well as leveraging on a new 3D dataset with over 3,000 identities. Second, we devise a meticulously designed architecture that combines local and global adversarial DCNNs to learn an identity-preserving facial UV completion model. We demonstrate that by attaching the completed UV to the fitted mesh and generating instances of arbitrary poses, we can increase pose variations for training deep face recognition/verification models, and minimise pose discrepancy during testing, which lead to better performance. Experiments on both controlled and in-the-wild UV datasets prove the effectiveness of our adversarial UV completion model. We achieve state-of-the-art verification accuracy, $94.05\%$, under the CFP frontal-profile protocol only by combining pose augmentation during training and pose discrepancy reduction during testing. We will release the first in-the-wild UV dataset (we refer as WildUV) that comprises of complete facial UV maps from 1,892 identities for research purposes.

연구 동기 및 목표

• 자연광 촬영 이미지에서 3D 얼굴 모델 피팅 과정에서 발생하는 자기 음영으로 인한 불완전한 얼굴 UV 매핑 문제를 해결하기 위해.
• 신원 정보를 유지하면서 얼굴 UV 매핑을 보완할 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• 완성된 UV 매핑에서 유도된 합성 얼굴 이미지를 사용하여 자세 증강 훈련과 자세 불일치 감소를 가능하게 하기 위해.
• 연구를 위해 사용할 수 있도록 1,892명의 신원을 포함한 최초의 대규모 자연광 UV 데이터셋(WildUV)을 수집하고 공개하기 위해.

제안 방법

• 다중 시점 데이터셋과 새로운 3,000명의 신원을 포함한 3D 데이터셋에서 2D 이미지에 3D 모러포블 모델(3DMM)을 피팅하여 불완전한 얼굴 UV 매핑을 추출한다.
• 국소 및 전반적 적대적 손실을 조합한 이중 판별자 GAN 아키텍처를 설계하여 일관성 있고 신원을 유지하는 UV 보완 결과를 생성한다.
• 완성된 UV 매핑을 3D 메esh에 부착하여 렌더링을 통해 임의의 자세에서 2D 얼굴 이미지를 합성한다.
• 훈련 시 자세 합성을 적용하여 훈련 데이터의 다양성을 증가시키고, 테스트 시 자세 불일치를 감소시키기 위해 동일한 전략을 적용한다.
• 특징 중심을 기반으로 강건한 검증을 위해 시각 보간(예: 15° 간격)을 사용하여 템플릿 쌍을 생성한다.
• 통제된 환경과 자연광 UV 데이터셋 모두에서 훈련 및 평가를 수행하며, 새로 공개된 WildUV 데이터셋도 포함한다.

실험 결과

연구 질문

• RQ1 적대적 학습을 통해 최대 50% 영역이 손실된 얼굴 UV 매핑을 효과적으로 보완할 수 있으며, 이 과정에서 신원 정보를 유지할 수 있는가?
• RQ2 UV 보완 및 이후 자세 합성 과정이 큰 자세 다양성을 갖춘 훈련 데이터셋이 없어도 자세에 영향을 받지 않는 얼굴 인식 성능 향상에 기여하는가?
• RQ3 완성된 UV 매핑에서 임의의 자세로 얼굴 이미지를 합성함으로써 테스트 시 자세 불일치를 감소시키고 정확도를 향상시킬 수 있는가?
• RQ4 작은 데이터셋에서의 데이터 증강만을 사용하여 CFP 프론트럴-프로파일 프로토콜에서 최고 성능을 달성할 수 있는가?

주요 결과

• UV-GAN은 CFP 프론트럴-프로파일 프로토콜에서 기존 방법을 능가하는 최고 수준의 94.05% 정확도를 달성한다.
• UV 보완을 통한 자세 증강은 CFP 데이터셋에서 정확도를 87.74%에서 93.09%로 향상시켜 훈련 시 효과성을 입증한다.
• 테스트 시 프로파일 얼굴에서 프론트럴 얼굴을 합성하면 정확도가 0.46% 향상되고, 반대로 프론트럴에서 프로파일로 합성하면 0.63% 향상되어 자세 불일치 감소에 기여함을 보여준다.
• 프론트럴2프로파일 및 프로파일2프론트럴의 이중 템플릿 합성을 통해 94.05%의 정확도를 달성하여 기존 최고 성능보다 0.29% 향상되었다.
• 증강된 CASIA-augUV 데이터셋에서 훈련한 결과는 훨씬 큰 VGG2 데이터셋(6배 크기)에서 훈련한 모델과 유사한 성능을 기록하였다.
• 3DMM 피팅에서 유도된 157차원의 신원 파rameter는 상당한 신원 정보를 포함하고 있으며, 이들 파라미터만으로 훈련한 모델이 67.49%의 정확도를 기록함으로써 형태 세부 정보 유지의 중요성을 입증한다.