[논문 리뷰] High Fidelity Face Manipulation with Extreme Poses and Expressions

Chaoyou Fu, Yibo Hu외 4명|arXiv (Cornell University)|2019. 03. 28.

Face recognition and analysis참고 문헌 74인용 수 9

한 줄 요약

이 논문은 최대 6000×4000 해상도에서 극단적인 자세와 표정 조건 하에서도 고해상도의 정밀한 얼굴 변형을 위한 이단계 프레임워크를 제안한다. 먼저, 자세 및 표정 추정기를 활용한 준지도 학습 조건부 인코더-디코더 네트워크를 통해 얼굴 경계 이미지를 예측하고, 이후 프oxy 네트워크와 특징 임계값 손실을 사용하여 잠재 공간에서 구조와 텍스처를 분리한다. 이로써 새로 수집한 MVF-HQ 데이터셋을 기반으로 고해상도 극단적 변형에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Face manipulation has shown remarkable advances with the flourish of Generative Adversarial Networks. However, due to the difficulties of controlling structures and textures, it is challenging to model poses and expressions simultaneously, especially for the extreme manipulation at high-resolution. In this paper, we propose a novel framework that simplifies face manipulation into two correlated stages: a boundary prediction stage and a disentangled face synthesis stage. The first stage models poses and expressions jointly via boundary images. Specifically, a conditional encoder-decoder network is employed to predict the boundary image of the target face in a semi-supervised way. Pose and expression estimators are introduced to improve the prediction performance. In the second stage, the predicted boundary image and the input face image are encoded into the structure and the texture latent space by two encoder networks, respectively. A proxy network and a feature threshold loss are further imposed to disentangle the latent space. Furthermore, due to the lack of high-resolution face manipulation databases to verify the effectiveness of our method, we collect a new high-quality Multi-View Face (MVF-HQ) database. It contains 120,283 images at 6000x4000 resolution from 479 identities with diverse poses, expressions, and illuminations. MVF-HQ is much larger in scale and much higher in resolution than publicly available high-resolution face manipulation databases. We will release MVF-HQ soon to push forward the advance of face manipulation. Qualitative and quantitative experiments on four databases show that our method dramatically improves the synthesis quality.

연구 동기 및 목표

• 기존 방법들이 구조-텍스처 분리가 불량하여 실패하는 고해상도 얼굴 변형 문제, 특히 극단적인 자세와 표정 조건에서의 과제를 해결하기 위해.
• 이미지 간 번역 및 구조 유도 방법에서 발생하는 국소적 구조의 흐림 현상이나 고해상도에서의 텍스처 손실 문제를 해결하기 위해.
• 극단적인 얼굴 변화 상황에서도 얼굴의 구조와 현실적인 텍스처를 모두 유지하는 분리된 잠재 공간 표현을 개발하기 위해.
• 향후 연구를 지원하기 위해 대규모 고해상도 얼굴 변형 데이터베이스(MVF-HQ)를 구축하고 공개하기 위해.

제안 방법

• 조건부 인코더-디코더 네트워크가 준지도 학습 방식으로 자세 및 표정 벡터를 조건 입력으로 사용하여 목표 얼굴 경계 이미지를 예측한다.
• 자세 및 표정 추정기를 통합하여 경계 예측의 정확성과 강건성을 향상시킨다.
• 두 개의 별도 인코더 네트워크가 예측된 경계 이미지(구조)와 입력 얼굴 이미지(텍스처)를 각각 다른 잠재 공간으로 분리한다.
• 프록시 얼굴 인식 네트워크를 디센트레일먼트 촉진 도구로 사용하고, 새로운 특징 임계값 손실을 통해 학습된 특징이 프록시의 특징에 비해 얼마나 빽빽하게 집합되어 있는지를 제어한다.
• 다중 척도 픽셀 단위 손실과 조건부 adversarial 손실을 적용하여 텍스처의 세부 정보와 현실감을 향상시킨다.
• 재구성, 디센트레일먼트, 신원 유지, adversarial 손실의 조합을 통해 훈련하여 정확성과 현실감을 보장한다.

실험 결과

연구 질문

• RQ1 극단적인 자세와 표정 조건에서 고해상도 얼굴 변형을 위해 이단계 프레임워크가 구조와 텍스처를 효과적으로 분리할 수 있는가?
• RQ2 자세 및 표정 벡터만을 제어 신호로 사용하여 준지도 학습 방식으로 경계 이미지를 정확하게 예측할 수 있는가?
• RQ3 극단적 변형 상황에서 얼굴의 구조 명료성과 텍스처의 현실감을 유지하기 위해 필수적인 손실 구성 요소는 무엇인가?
• RQ4 특징 임계값 손실이 고해상도에서 특징을 과도하게 뭉치지 않도록 하면서 어떻게 디센트레일먼트에 기여하는가?
• RQ5 모델이 도메인 간 전이에 얼마나 잘 일반화되는가? 이를 교차 데이터베이스 테스트로 어떻게 입증할 수 있는가?

주요 결과

• MVF-HQ 데이터셋에서 ±90° 자세 조건에서 Fréchet Inception Distance(FID)가 12.94로 최저를 기록하였고, Rank-1 정확도는 60.4%를 기록하여 이미지 품질과 신원 유지 측면에서 뛰어난 성능을 보였다.
• 특징 임계값 손실의 파라미터 m을 7로 설정했을 때 FID가 최소화되고 Rank-1 정확도가 최대화되어 최적의 디센트레일먼트가 이루어짐을 입증했다.
• 절단 실험을 통해 각 손실 구성 요소, 특히 특징 임계값 손실과 다중 척도 픽셀 단위 손실이 국소적 텍스처와 구조 명료성을 유지하는 데 필수적임을 확인했다.
• 교차 데이터베이스 실험 결과, MultiPIE 데이터셋에서 MVF-HQ로의 얼굴 변형이 도메인 갭이 크더라도 성공적으로 수행되어 강력한 일반화 능력을 보였다.
• MVF-HQ 데이터셋은 479명의 신원에서 구성된 총 120,283장의 고해상도(6000×4000) 이미지를 포함하고 있으며, 이는 기존 데이터베이스보다 훨씬 크고 해상도가 높아 더 현실적인 평가를 가능하게 한다.