[논문 리뷰] X2Face: A network for controlling face generation by using images, audio, and pose codes

Olivia Wiles, A. Sophia Koepke외 1명|arXiv (Cornell University)|2018. 07. 27.

Face recognition and analysis참고 문헌 22인용 수 15

한 줄 요약

X2Face는 레이블이 없는 데이터를 요구하지 않고 이미지, 오디오 또는 자세 코드를 사용하여 얼굴 생성을 제어하는 자기지도 학습 신경망을 제안한다. 영상 데이터로부터 신원에 영향을 받지 않는 임bedded 얼굴 표현을 학습하고, 이를 바탕으로 다른 얼굴, 오디오 또는 자세 코드의 드라이빙 신호를 사용해 소스 얼굴을 애니메이션한다. 이로써 제로샷 모odal리티 전이를 통해 강력하고 제어 가능하며 다양한 얼굴 애니메이션을 구현한다.

ABSTRACT

The objective of this paper is a neural network model that controls the pose and expression of a given face, using another face or modality (e.g. audio). This model can then be used for lightweight, sophisticated video and image editing. We make the following three contributions. First, we introduce a network, X2Face, that can control a source face (specified by one or more frames) using another face in a driving frame to produce a generated frame with the identity of the source frame but the pose and expression of the face in the driving frame. Second, we propose a method for training the network fully self-supervised using a large collection of video data. Third, we show that the generation process can be driven by other modalities, such as audio or pose codes, without any further training of the network. The generation results for driving a face with another face are compared to state-of-the-art self-supervised/supervised methods. We show that our approach is more robust than other methods, as it makes fewer assumptions about the input data. We also show examples of using our framework for video face editing.

연구 동기 및 목표

• 자세, 표정, 신원 레이블 없이도 영상 데이터만을 사용해 얼굴 생성을 제어하는 자기지도 학습 프레임워크를 개발한다.
• 드라이빙 프레임의 자세와 표정을 전달하면서 소스 얼굴의 신원을 유지하는 제어 가능한 얼굴 애니메이션을 가능하게 한다.
• 재학습 없이도 오디오나 자세 코드와 같은 비시각적 모달리티로 프레임워크를 확장한다.
• 학습된 임bedded 얼굴 표현을 안정적이고 신원에 영향을 받지 않는 텍스처 맵으로 사용해 영상 편집을 가능하게 한다.
• 입력 데이터에 대한 가정을 최소화하고, 제약이 많지 않은 실제 영상 데이터에서 강건성과 일반화 능력을 입증한다.

제안 방법

• 소스 얼굴을 분리된, 신원를 유지하는 표현으로 인코딩하는 임베딩 네트워크와, 이 표현을 기반으로 생성 프레임을 만드는 드라이빙 네트워크를 갖춘 이중 브랜치 네트워크를 훈련한다.
• 소스 및 드라이빙 프레임 쌍에 대해 자기지도 기반 대비 학습을 수행하여, 레이블 없이도 분리된 표현을 학습한다.
• 소스의 자세나 표정 변화에 대해 임베딩 네트워크가 불변성을 유지하도록 하여 신원과 운동/자세/표정을 분리한다.
• 임베딩된 소스 얼굴과 드라이빙 프레임에서 유도된 드라이빙 벡터를 사용해 드라이빙 프레임을 재구성하도록 드라이빙 네트워크를 훈련한다.
• 훈련 후 오디오 특징이나 자세 코드에서 드라이빙 벡터 공간으로의 선형 투영을 학습하여 모달리티 전이를 가능하게 한다.
• 임베딩된 얼굴를 직접 수정하고 드라이빙 프레임 시퀀스에 다시 적용함으로써 영상 편집을 위해 UV 텍스처 맵으로 사용한다.

실험 결과

연구 질문

• RQ1 자기지도 신경망은 애너테이션 없이 제한이 없는 영상 데이터에서 분리된, 신원를 유지하는 얼굴 표현을 학습할 수 있는가?
• RQ2 같은 훈련된 네트워크가 드라이빙 프레임의 자세와 표정을 전달하면서도, 새로운 신원에 대해서도 현실적인 얼굴 애니메이션을 생성할 수 있는가?
• RQ3 재학습 없이도 오디오나 자세 코드와 같은 비시각적 모달리티로 네트워크를 효과적으로 구동할 수 있는가?
• RQ4 임베딩된 얼굴 표현이 얼굴 장식 추가와 같은 영상 편집 작업의 안정적 기반으로 얼마나 효과적으로 사용될 수 있는가?
• RQ5 감독 및 자기지도 최신 기술과 비교해 본다면, 이 방법은 강건성과 품질 면에서 어떤가?

주요 결과

• X2Face는 훈련 중에 자세, 표정, 신원 애너테이션을 전혀 요구하지 않으며, 다양한 신원과 자세에서 강력한 얼굴 애니메이션을 달성한다.
• 모델은 오디오 입력을 사용해 얼굴을 애니메이션하는 데 성공하며, 말하는 소리에 맞는 입술 움직임을 생성한다. 이는 오디오가 다른 화자에서 온 경우나 소스 영상와 관련이 없는 경우에도 성립한다.
• 임베딩된 얼굴 표현은 자세와 표정 변화에 대해 안정적이며, 직접 임베딩된 얼굴를 수정함으로써 일관된 영상 편집이 가능하다.
• 동일한 수정된 임베딩된 얼굴를 사용해 다양한 신원에 대해 편집이 가능하며, 프로파일 및 프론트얼굴 뷰에서 일관된 문신과 상처 렌더링을 보여준다.
• 특정 얼굴 교체 모델에 비해 생성 품질는 略로 낮지만, 유연성, 자기지도 학습, 제어 가능성의 균형을 잘 이루고 있다.
• 특수화된 얼굴 교체 모델에 비해 생성 품질는 略로 낮지만, X2Face는 다양성, 자기지도 학습, 제어 가능성의 균형을 잘 이루고 있다.