[논문 리뷰] Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization

Jie Cao, Yibo Hu외 3명|arXiv (Cornell University)|2018. 06. 22.

Face recognition and analysis인용 수 55

한 줄 요약

HF-PIM은 고밀도 대응 필드와 텍스처 맵 왜곡을 도입해 고해상도 얼굴을 전면화하고, 3D 데이터 의존성을 피하기 위해 Adversarial Residual Dictionary Learning으로 감독받아 최첨단 자세 불변 인식과 고충실도 전면화를 달성한다.

ABSTRACT

Face frontalization refers to the process of synthesizing the frontal view of a face from a given profile. Due to self-occlusion and appearance distortion in the wild, it is extremely challenging to recover faithful results and preserve texture details in a high-resolution. This paper proposes a High Fidelity Pose Invariant Model (HF-PIM) to produce photographic and identity-preserving results. HF-PIM frontalizes the profiles through a novel texture warping procedure and leverages a dense correspondence field to bind the 2D and 3D surface spaces. We decompose the prerequisite of warping into dense correspondence field estimation and facial texture map recovering, which are both well addressed by deep networks. Different from those reconstruction methods relying on 3D data, we also propose Adversarial Residual Dictionary Learning (ARDL) to supervise facial texture map recovering with only monocular images. Exhaustive experiments on both controlled and uncontrolled environments demonstrate that the proposed method not only boosts the performance of pose-invariant face recognition but also dramatically improves high-resolution frontalization appearances.

연구 동기 및 목표

• 야생에서의 고해상도이면서 신원 보존이 가능한 얼굴 전면화 문제에 대응한다.
• 밀집 대응 필드와 얼굴 텍스처 맵을 통해 2D-3D 결합을 활용해 워핑을 안내한다.
• Adversarial Residual Dictionary Learning (ARDL)을 통해 3D 데이터 없이 텍스처 맵 복원을 감독한다.
• 기하 추정, 텍스처 복원 및 전면화를 하나로 통합하는 엔드-투-엔드 심층 네트워크를 제공한다.
• 여러 데이터셋에서 자세 불변 인식 및 고해상도 전면화에서 향상된 성능을 보여준다.

제안 방법

• 2D 텍스처 공간을 전면 뷰에 연결하는 밀집 대응 필드 F를 추정한다.
• UV 공간에서 자동인코더를 통해 얼굴 텍스처 맵 T를 복원하며, 실제 T가 이용 불가능한 경우 ARDL의 가이드를 받는다.
• Y = warp(i,j;F,T) = T_{u_{ij},v_{ij}}로 텍스처 맵을 전면 뷰로 왜곡하고 aRec를 사용해 비얼 얼굴 영역을 생성한다.
• 시각적 현실감을 보장하기 위해 재구성 손실 L_rec = ||Rec(F,T) - Y||_1로 학습한다.
• 3D 데이터 없이도 ARDL을 통해 다양한 포즈에서 텍스처 인코딩을 정렬하는 사전 학습 모듈과 포즈를 구분하는 사전 예측기에 대한 적대적 손실로 텍스처 표현을 감독한다.
• 정체성 특징 보존을 위한 지각 손실 L_p와 사진적 리얼리즘을 위한 RGB 적대적 손실 L_g/L_d를 사용한다.

실험 결과

연구 질문

• RQ1 밀집 대응 필드를 통한 밀집 2D-3D 바인딩이 프로필 이미지에서 고해상도 얼굴 전면화를 향상시킬 수 있는가?
• RQ2 ARDL이 실제 3D 텍스처 맵 없이도 효과적인 텍스처 맵 복원을 가능하게 하는가?
• RQ3 제안된 HF-PIM이 야생에서 256×256 해상도에서 높은 충실도와 신원 보존을 갖춘 전면화를 달성할 수 있는가?
• RQ4 이 방법이 표준 벤치마크와 고해상도 데이터셋에서 자세 불변 얼굴 인식을 향상시키는가?

주요 결과

• HF-PIM은 다수의 자세 변화에서 Multi-PIE에서 이전 방법들보다 rank-1 인식을 크게 향상시킨다.
• 전면화된 결과를 사용할 때 LFW, IJB-A 등 야생 데이터셋에서 최첨단 검증/인식을 달성한다.
• CelebA-HQ에서 고해상도(256×256) 전면화를 시연했으며 지각 및 텍스처 세부가 이전의 GAN 기반 전면화기보다 잘 보존된다.
• 밀집 대응 필드와 텍스처 워핑 프레임워크가 충실한 텍스처 디테일과 자세 불변 재구성을 가능하게 한다.
• ARDL은 3D 데이터 없이 텍스처 맵 복원 감독을 가능하게 하여 레이블된 3D 데이터 세트에 대한 의존도를 줄인다.