[논문 리뷰] Unconstrained Facial Expression Transfer using Style-based Generator

Chao Yang, Ser-Nam Lim|arXiv (Cornell University)|2019. 12. 12.

Face recognition and analysis참고 문헌 36인용 수 6

한 줄 요약

이 논문은 사전 훈련된 StyleGAN에서 유도한 계층적 스타일 벡터를 활용하여 얼굴 속성들을 분리하는 스타일 기반 GAN 방법을 제안한다. 두 입력 이미지의 스타일 벡터 선형 조합을 최적화하여, 한 이미지의 외모와 다른 이미지의 표정을 가진 고품질이고 현실적인 얼굴 이미지를 합성함으로써 기하학적 애너테이션이나 새로운 신원에 대한 재훈련 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Facial expression transfer and reenactment has been an important research problem given its applications in face editing, image manipulation, and fabricated videos generation. We present a novel method for image-based facial expression transfer, leveraging the recent style-based GAN shown to be very effective for creating realistic looking images. Given two face images, our method can create plausible results that combine the appearance of one image and the expression of the other. To achieve this, we first propose an optimization procedure based on StyleGAN to infer hierarchical style vector from an image that disentangle different attributes of the face. We further introduce a linear combination scheme that fuses the style vectors of the two given images and generate a new face that combines the expression and appearance of the inputs. Our method can create high-quality synthesis with accurate facial reenactment. Unlike many existing methods, we do not rely on geometry annotations, and can be applied to unconstrained facial images of any identities without the need for retraining, making it feasible to generate large-scale expression-transferred results.

연구 동기 및 목표

• 쌍체 훈련 데이터나 기하학적 애너테이션이 필요 없이 비제한적 얼굴 이미지 간에 현실적인 표정 전이를 수행하는 도전 과제를 해결한다.
• 재훈련 없이도 임의의 신원 간에 표정 전이가 가능하게 하여 확장성과 일반화 능력을 확보한다.
• 두 입력 이미지에서의 외모와 표정을 잠재 공간 최적화를 통해 융합하는 완전 자동형, 종단 간(end-to-end) 시스템을 개발한다.
• 3D 모델, 관절점 추적, 신원별 훈련에 의존하는 기존 기하학 기반 및 학습 기반 방법의 한계를 극복한다.
• 강력한 DeepFake 탐지 모델을 훈련시키는 데 적합한 대규모 표현 전이 이미지를 생성할 수 있는 확장 가능한 솔루션을 제공한다.

제안 방법

• 사전 훈련된 StyleGAN을 사용하여 얼굴 이미지에서 최적화를 통해 계층적 스타일 벡터를 추론함으로써, 여러 잠재 레이어에서 표정, 헤어 컬러, 자세 등의 속성을 분리한다.
• 정수 선형 프ogram밍(ILP) 프레임워크를 적용하여 두 입력 이미지의 스타일 벡터 선형 조합을 최적화함으로써 목표 신원의 외모를 유지하고 소스 표정을 전달한다.
• 다양한 레이어에서 VGG-16 특징을 사용한 인지적 손실을 적용하여 스타일 벡터 최적화를 지도하며, 레이어 9에서 가장 높은 재구성 품질을 얻는다.
• 레이어 간 스타일 벡터 스플리팅을 수행하여 속성 분리도를 분석하고, 레이어 4가 얼굴 표정 변화에 가장 민감한 것으로 규명된다.
• 최적화된 스타일 벡터를 StyleGAN 생성자에 입력하여, 명시적 형태나 텍스처 모델링 없이도 현실적인 얼굴 재연 이미지를 생성한다.
• 종단 간 추론이 완전히 자동화되어 있으며, 모델 미세조정 없이도 극단적인 자세나 가림이 있는 이미지 포함 모든 얼굴 이미지에 적용 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 StyleGAN에서 유도한 계층적 스타일 벡터가 표정, 외모, 자세와 같은 얼굴 속성을 효과적으로 분리할 수 있는가?
• RQ2 두 다른 얼굴 이미지의 스타일 벡터를 어떻게 최적의 방식으로 조합하여 표정을 전이하면서도 신원 외형을 유지할 수 있는가?
• RQ3 잠재 공간 최적화 접근법이 기하학적 애너테이션이나 신원별 훈련 없이도 고해상도의 얼굴 재연을 얼마나 잘 달성할 수 있는가?
• RQ4 다양한 인지적 손실 레이어가 스타일 벡터 추론 과정에서 재구성된 이미지의 품질과 일관성에 어떤 영향을 미치는가?
• RQ5 이 방법은 가림이나 어려운 조명 조건이 있는 실세계의 비제한적 얼굴 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• 기하학 기반 및 학습 기반 기준선 대비 표정 전이의 시각적 품질이 뛰어나며, 인지적으로 더 현실적이고 일관된 결과를 도출한다.
• VGG-16 레이어 9를 인지적 손실 레이어로 사용할 경우 재구성 품질이 가장 높으며, 잡음과 세부 구조를 최소화한다.
• 스타일 벡터의 레이어 4가 얼굴 표정 변화에 가장 민감하며, 소스 이미지에서 타겟 이미지로 전환할 경우 정확한 표정 전이가 이루어진다.
• 이 방법은 재훈련 없이도 다양한 신원과 비제한적 이미지, 웹 스크래핑된 얼굴, 극단적인 자세까지도 성공적으로 표정 전이를 수행한다.
• 실패 사례는 주로 강한 가림이나 강한 그림자로 인해 발생하며, 이 경우 모델이 완전한 얼굴 구조나 자연스러운 조명을 재구성하는 데 어려움을 겪는다.
• 이 시스템은 대규모의 표현 전이 이미지를 생성할 수 있으며, 강력한 DeepFake 탐지 모델 훈련에 적용 가능함을 입증한다.