[논문 리뷰] Towards Large-Pose Face Frontalization in the Wild

Xi Yin, Yu Xiang외 3명|arXiv (Cornell University)|2017. 04. 20.

Face recognition and analysis참고 문헌 35인용 수 43

한 줄 요약

이 논문은 3D 모형화 모델(3DMM)에 조건이 되는 GAN인 FF-GAN을 제안하며, 자연 환경에서의 큰 자세 변화, 특히 90°까지의 극한의 측면 뷰를 포함한 비전면 얼굴 이미지의 고품질, 신원 유지 전면화를 구현한다. 3DMM 사전 지식, 판별자, 신원 인식 정규화, 그리고 새로운 대칭성 및 재구성 손실을 통합함으로써, FF-GAN은 LFW 및 Multi-PIE에서 최신 기술 수준의 얼굴 인식 정확도를 달성하였으며, 특히 45°를 초과하는 자세에서 뛰어난 성능을 보였다.

ABSTRACT

Despite recent advances in face recognition using deep learning, severe accuracy drops are observed for large pose variations in unconstrained environments. Learning pose-invariant features is one solution, but needs expensively labeled large-scale data and carefully designed feature learning algorithms. In this work, we focus on frontalizing faces in the wild under various head poses, including extreme profile views. We propose a novel deep 3D Morphable Model (3DMM) conditioned Face Frontalization Generative Adversarial Network (GAN), termed as FF-GAN, to generate neutral head pose face images. Our framework differs from both traditional GANs and 3DMM based modeling. Incorporating 3DMM into the GAN structure provides shape and appearance priors for fast convergence with less training data, while also supporting end-to-end training. The 3DMM-conditioned GAN employs not only the discriminator and generator loss but also a new masked symmetry loss to retain visual quality under occlusions, besides an identity loss to recover high frequency information. Experiments on face recognition, landmark localization and 3D reconstruction consistently show the advantage of our frontalization method on faces in the wild datasets.

연구 동기 및 목표

• 자연스럽지 않은 환경에서 큰 자세 변화에 의해 심각한 정확도 저하가 발생하는 문제를 해결한다.
• 입력된 전면이 아닌 얼굴 이미지, 특히 90°까지의 극한의 측면 뷰를 전면 뷰로 전환하는 방법을 개발하며, 신원과 시각적 품질을 유지한다.
• 순수 데이터 기반 GAN과 3DMM 기반 방법의 한계를 극복하기 위해 두 기법의 장점을 융합하여 더 나은 일반화 및 세부 정보 유지 능력을 확보한다.
• 형태 및 외관 사전 지식을 통합한 엔드 투 엔드 학습을 가능하게 하여 데이터 의존도를 줄이고 수렴 속도를 향상시킨다.
• 얼굴 인식, 3D 재구성, 가상/증강 현실 응용 분야에 적용 가능한 실재감 있고 신원을 유지하는 출력을 제공한다.

제안 방법

• 단일 입력 이미지에서 3D 형태 및 외관 계수를 추정하는 깊이 있는 3DMM 기반 재구성기 통합을 통해 전반적인 자세와 저주파수 사전 지식을 제공한다.
• 3DMM 계수와 입력 이미지를 융합하여 전면 얼굴을 합성하는 생성기 네트워크 설계로 고주파수 국소 세부 정보를 유지한다.
• 실제 전면 얼굴과 생성된 얼굴을 구분하는 판별자를 활용하여 현실성과 고수준 분포 일치를 강제한다.
• 특히 측면 뷰에서의 자기 가림 현상에 대비해 시각적 품질을 유지하기 위해 새로운 마스크된 대칭성 손실을 도입한다.
• 사전 학습된 얼굴 인식 네트워크를 사용해 입력 이미지와 생성된 이미지 간의 특징 표현을 정렬함으로써 신원 유지 보장을 위한 정규화 손실을 적용한다.
• 모든 손실인 적대적, 재구성, 대칭성, 신원 손실의 균형 잡힌 조합을 사용해 전체 프레임워크를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 3DMM 조건 기반 GAN 아키텍처는 자연스럽지 않은 환경에서 극한의 머리 자세(최대 90°)를 가진 얼굴의 고해상도 전면화를 달성할 수 있는가?
• RQ2 3DMM 사전 지식의 통합은 얼굴 전면화 과정에서 수렴 속도 향상과 데이터 요구량 감소에 얼마나 효과적인가?
• RQ3 기존 GAN 손실 대비 제안된 마스크된 대칭성 손실은 가림 현상 하에서 시각적 품질 향상에 어느 정도 기여하는가?
• RQ4 얼굴 인식 엔진을 통한 신원 정규화는 큰 자세 변화에 걸쳐 신원 유지에 얼마나 효과적인가?
• RQ5 제안된 방법은 특히 45°를 초과하는 자세에서 기존 최신 기술 수준의 접근법을 능가하는 얼굴 인식 정확도를 달성할 수 있는가?

주요 결과

• FF-GAN은 Multi-PIE 데이터셋에서 0°에서 90°까지의 자세 범위에서 91.6%의 얼굴 인식 정확도를 달성하여 이전 방법들보다 뚜렷이 뛰어나며, 특히 극한 자세에서 뛰어난 성능을 보였다.
• LFW 데이터셋에서는 전면화된 출력을 사용해 91.5%의 정확도를 기록하며 이전 최신 기술 수준 결과를 초월하였다.
• 제거 실험 결과, 인식 엔진(C)을 제거하면 성능이 59.2%로 떨어지며, 이는 신원 유지에 있어 그 핵심적인 역할을 한다는 것을 입증한다.
• 3DMM 재구성기(R)의 기여도가 뚜렷하며, 이를 제거하면 성능이 68.5%로 떨어지며, 이는 잡음 제거와 자세 정렬을 위한 중요성을 시사한다.
• 마스크된 대칭성 손실과 신원 손실 각각이 의미 있는 기여를 하며, 각각 제거할 경우 성능이 73.1%와 69.3%로 떨어지며 품질과 신원 충실도 유지를 위한 기여도를 입증한다.
• AFLW 및 IJB-A에서의 정성적 결과는 FF-GAN이 어려운 조명, 표정, 자세 변화 조건에서도 실재감 있고 신원을 유지하는 전면 얼굴을 생성함을 보여준다.