[논문 리뷰] Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

Hang Zhou, Jihao Liu외 3명|arXiv (Cornell University)|2020. 03. 18.

Face recognition and analysis참고 문헌 59인용 수 22

한 줄 요약

이 논문은 단일 시각 이미지에서 실사 수준의 얼굴 회전을 위한 새로운 비지도 학습 프레임워크인 Rotate-and-Render를 제안한다. 3D 얼굴 메쉬를 임의의 자세로 돌린 후 다시 렌더링하고, GAN을 통해 렌더링된 출력을 실사 이미지 분포로 변환함으로써, 쌍체 데이터나 레이블 없이도 최고 수준의 신원 유지 및 합성 품질을 달성한다.

ABSTRACT

Though face rotation has achieved rapid progress in recent years, the lack of high-quality paired training data remains a great hurdle for existing methods. The current generative models heavily rely on datasets with multi-view images of the same person. Thus, their generated results are restricted by the scale and domain of the data source. To overcome these challenges, we propose a novel unsupervised framework that can synthesize photo-realistic rotated faces using only single-view image collections in the wild. Our key insight is that rotating faces in the 3D space back and forth, and re-rendering them to the 2D plane can serve as a strong self-supervision. We leverage the recent advances in 3D face modeling and high-resolution GAN to constitute our building blocks. Since the 3D rotation-and-render on faces can be applied to arbitrary angles without losing details, our approach is extremely suitable for in-the-wild scenarios (i.e. no paired data are available), where existing methods fall short. Extensive experiments demonstrate that our approach has superior synthesis quality as well as identity preservation over the state-of-the-art methods, across a wide range of poses and domains. Furthermore, we validate that our rotate-and-render framework naturally can act as an effective data augmentation engine for boosting modern face recognition systems even on strong baseline models.

연구 동기 및 목표

• 기존 방법에서 고해상도 쌍체 학습 데이터 부족으로 인한 일반화 및 해상도 제한 문제를 해결한다.
• Multi-PIE나 300W-LP와 같은 통제된 다중시점 데이터셋에 의존하는 지도 학습 방법의 도메인 및 해상도 제약을 극복한다.
• 쌍체 데이터나 신원 레이블 없이도, 외부 환경에서의 단일 시각 이미지만으로도 임의의 각도에서 실사 수준의 얼굴 회전을 가능하게 한다.
• 3D 메쉬의 회전-렌더링 사이클을 통해 자가지도 신호를 생성함으로써, 신원과 세부 사항을 유지하면서도 현실적인 결과를 생성한다.
• 생성된 얼굴이 대규모 얼굴 인식 벤치마크에서 강력한 기준 모델을 사용할 때에도 효과적으로 학습 데이터를 보강하고 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 단일 2D 얼굴 이미지에서 3D 메쉬를 복원하기 위해 사전 구축된 3D 얼굴 피팅 네트워크(3DDFA)를 사용한다.
• 3D 메쉬를 임의의 목표 자세로 돌려 다시 2D로 렌더링하여, 자가지도 신호를 생성한다.
• 메쉬를 원래 자세로 다시 돌려, 돌린 이미지에서 추출한 텍스처를 사용해 재렌더링하여, 가림 영역이 있는 재구성 이미지를 생성한다.
• 이미지 간 번역 네트워크(GAN 기반)를 적용하여, 불완전한 렌더링 이미지를 실사 이미지 도메인의 사진 수준의 이미지로 매핑한다.
• 다중 해상도 판별자와 VGG 특징 손실을 활용하여, 특히 극단적인 자세에서의 현실성과 세부 사항 유지 향상.
• 모든 파이프라인을 완전히 비지도 학습 방식으로 종단 간(end-to-end)으로 학습하며, 쌍체 데이터나 신원 주석이 필요하지 않다.

실험 결과

연구 질문

• RQ1 쌍체 다중시점 데이터나 어떤 형태의 지도 학습도 없이 실사 수준의 얼굴 회전을 달성할 수 있는가?
• RQ2 3D 메쉬의 회전 및 렌더링이 고해상도, 신원 유지 얼굴 이미지를 생성하기 위한 강력한 자가지도 신호로 기능할 수 있는가?
• RQ3 도메인 특화 미세조정 없이도 다양한 외부 환경 이미지와 임의의 자세 각도에서 일반화 가능한가?
• RQ4 생성된 얼굴이 강력한 기준 모델을 사용할 때조차 대규모 얼굴 인식 시스템의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 3D 사전 지식과 GAN 기반 변환의 조합이 기존의 재구성 기반 또는 GAN 기반 프론트얼라이제이션 방법보다 우월한가?

주요 결과

• 제안된 Rotate-and-Render 프레임워크는 LFW에서 FID 점수 83.1, IJB-A에서 70.9을 기록하여 기존 비지도 방법보다 최고 수준의 성능을 달성한다.
• MegaFace 벤치마크에서, ResNet-50의 순위-1 정확도를 100만 개의 배치자(1M distractors)에서 98.44%까지 향상시켰으며, ArcFace R100 모델을 초월한다.
• MS1MV2와 ResNet-18과 같은 강력한 기준 모델을 사용할 때조차, 생성된 얼굴을 활용한 학습 데이터 증강으로 MS1MV2에서 정확도가 최대 0.48% 향상된다.
• 절단 실험 결과, 극단적인 자세에서 고해상도 결과를 얻기 위해 VGG 손실과 다중 해상도 판별자가 모두 필수적임을 확인했다.
• 모든 테스트 자세, 특히 ±90°에서도 근접한 실사 수준의 결과를 생성하며, 최소한의 잡음과 강력한 신원 유지 특성을 보였다.
• 프레임워크는 완전히 비지도이며, 쌍체 데이터, 레이블, 신원 정보가 필요하지 않아, 어떤 외부 환경 이미지 컬렉션에도 적용 가능하다.