[논문 리뷰] Make a Face: Towards Arbitrary High Fidelity Face Manipulation

Shengju Qian, Kwan-Yee Lin외 6명|arXiv (Cornell University)|2019. 08. 20.

Face recognition and analysis참고 문헌 52인용 수 6

한 줄 요약

이 논문은 약한 지도 학습만을 사용하여 256×256 해상도에서 고해상도이고 임의의 변형이 가능한 얼굴 이미지를 가능하게 하는 새로운 조건부 VAE 프레임워크인 Additive Focal Variational Auto-encoder (AF-VAE)를 제안한다. 구조적 잠재 공간에서 비지도 클러스터링을 통한 추가적인 가우시안 혼합 사전과 HVS 기반 아키텍처 설계를 도입함으로써, AF-VAE는 CelebA에서 최고 수준의 FID (36.82)와 Inception Score (2.15)를 달성하여 얼굴 변형 작업에서 이미지 품질과 다양성 측면에서 크게 향상시켰다.

ABSTRACT

Recent studies have shown remarkable success in face manipulation task with the advance of GANs and VAEs paradigms, but the outputs are sometimes limited to low-resolution and lack of diversity. In this work, we propose Additive Focal Variational Auto-encoder (AF-VAE), a novel approach that can arbitrarily manipulate high-resolution face images using a simple yet effective model and only weak supervision of reconstruction and KL divergence losses. First, a novel additive Gaussian Mixture assumption is introduced with an unsupervised clustering mechanism in the structural latent space, which endows better disentanglement and boosts multi-modal representation with external memory. Second, to improve the perceptual quality of synthesized results, two simple strategies in architecture design are further tailored and discussed on the behavior of Human Visual System (HVS) for the first time, allowing for fine control over the model complexity and sample quality. Human opinion studies and new state-of-the-art Inception Score (IS) / Frechet Inception Distance (FID) demonstrate the superiority of our approach over existing algorithms, advancing both the fidelity and extremity of face manipulation task.

연구 동기 및 목표

• 통제되지 않은 조건에서 고해상도, 다양성 있고 극단적인 얼굴 변형을 생성하는 데에 한계를 보이는 기존 얼굴 변형 방법의 문제를 해결하기 위해.
• 기본 VAE에서 단위 가우시안 잠재 사전으로 인해 발생하는 떨어진 분리성과 제한된 다양성 문제를 극복하기 위해.
• 인간 시각 시스템(Human Visual System, HVS) 행동에 기반한 아키텍처 설계를 통해 합성된 얼굴의 정서적 품질을 향상시키기 위해.
• 복구 손실과 KL 발산 손실만을 사용하여 안정적이고 제어 가능하며 신원을 유지하는 얼굴 변형을 가능하게 하기 위해.

제안 방법

• 잠재 공간을 외관과 구조 표현으로 분리하여 더 나은 분리성을 달성하는 Additive Focal Variational Auto-encoder (AF-VAE)를 도입한다.
• 비지도 클러스터링 메커니즘을 활용해 구조적 잠재 공간에서 새로운 추가 가우시안 혼합 사전을 이끌어내어 다중 모달 표현과 다양성을 향상시킨다.
• 클러스터링과 사전 간의 연결을 가능하게 하기 위해 경량 메모리 모듈을 도입하여 다양한 얼굴 표정과 자세의 생성을 가능하게 한다.
• 인간 시각 시스템(HVS) 감도의 경험적 분석에 기반한 픽셀 셔플과 가중치 정규화를 포함한 생성자 아키텍처를 설계하여 정서적 품질을 향상시킨다.
• 복잡한 적대적 또는 보조 지도 학습 없이도 안정적인 최적화를 가능하게 하기 위해 복구 손실과 KL 발산 손실만을 사용하여 학습한다.
• 기하학적 지도 기반 분리성을 도입하여 잠재 공간 내에서 자세에 영향을 받지 않는 외관과 구조적 구성요소를 명시적으로 분리한다.

실험 결과

연구 질문

• RQ1 적대적 학습이나 복잡한 손실 항목 없이도 단순한 VAE 기반 프레임워크가 고해상도 얼굴 변형을 달성할 수 있는가?
• RQ2 약한 지도 학습만으로도 얼굴 변형의 잠재 공간에서 분리되고 다중 모달 표현을 달성할 수 있는가?
• RQ3 인간 시각 시스템(HVS)에 기반한 아키텍처 선택이 합성된 얼굴의 정서적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 구조적 및 외관 분리만을 사용할 경우 극단적인 얼굴 변형 중에도 신원을 유지할 수 있는가?
• RQ5 개별 구성요소(GMM, 픽셀 셔플, 가중치 정규화)가 모델의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• AF-VAE는 CelebA 데이터셋에서 Fréchet Inception Distance (FID) 36.82와 Inception Score (IS) 2.15를 달성하여 이전 최고 성능 기준을 크게 뛰어넘었다.
• 제거 실험 결과, GMM, 픽셀 셔플, 가중치 정규화 또는 KL 발산 손실 중 어느 것도 제거할 경우 FID와 IS가 유의미하게 감소하는 것으로 확인되었다.
• 잠재 벡터 간의 보간은 외관과 구조 양 측면에서 부드럽고 사진처럼 현실적인 전환을 가능하게 하여 밀도 높고 분리된 특징 학습을 나타낸다.
• 기존 이미지와 유사한 얼굴 윤곽을 가진 경계 지도를 조건으로 설정할 경우 신원을 성공적으로 유지하지만, 윤곽이 크게 다를 경우 실패한다.
• 실패 사례는 희귀 객체, 가림, 스타일화된 입력 처리의 한계를 드러내며, 강한 구조적 일관성으로 인해 흐릿하거나 자연스럽지 않은 변형이 자주 발생한다.