[논문 리뷰] ReenactGAN: Learning to Reenact Faces via Boundary Transfer

Wayne Wu, Yunxuan Zhang외 3명|arXiv (Cornell University)|2018. 07. 29.

Face recognition and analysis참고 문헌 54인용 수 18

한 줄 요약

ReenactGAN은 경계 잠재공간을 사용하여 소스 영상의 얼굴 표정과 움직임을 타겟 얼굴로 전이하는 새로운 얼굴 재연 프레임워크를 제안한다. 소스 얼굴를 얼굴 경계 표현으로 인코딩하고, 타겟 전용 트랜스포머를 통해 이를 적응시키며, 타겟 전용 생성자로 복원함으로써 실시간으로 30 FPS에서 고해상도의 사진 같은 재연을 구현한다. 이는 큰 자세 및 표정 변화 조건에서도 높은 정확도를 유지한다.

ABSTRACT

We present a novel learning-based framework for face reenactment. The proposed method, known as ReenactGAN, is capable of transferring facial movements and expressions from monocular video input of an arbitrary person to a target person. Instead of performing a direct transfer in the pixel space, which could result in structural artifacts, we first map the source face onto a boundary latent space. A transformer is subsequently used to adapt the boundary of source face to the boundary of target face. Finally, a target-specific decoder is used to generate the reenacted target face. Thanks to the effective and reliable boundary-based transfer, our method can perform photo-realistic face reenactment. In addition, ReenactGAN is appealing in that the whole reenactment process is purely feed-forward, and thus the reenactment process can run in real-time (30 FPS on one GTX 1080 GPU). Dataset and model will be publicly available at https://wywu.github.io/projects/ReenactGAN/ReenactGAN.html

연구 동기 및 목표

• 큰 자세, 표정, 조명 변화 조건에서도 사진 같은 얼굴 재연의 과제를 해결한다.
• 새로운 또는 극단적인 얼굴 조건에서 실패하는 직접 픽셀 공간 GAN의 한계를 극복한다.
• 쌍방향이 아닌 얼굴 재연에서의 다대일 매핑 문제를 분리된 경계 기반 잠재공간을 도입하여 해결한다.
• 순전파 아키텍처를 통해 실시간 추론을 가능하게 한다.
• 쌍방향 소스-타겟 데이터가 필요 없이 대규모 얼굴 랜드마크 데이터셋을 활용하여 정교한 표정 전이를 실현한다.

제안 방법

• 얼굴 랜드마크를 활용하여 기하학적 일관성을 확보하면서, 깊이 있는 인코더 네트워크를 사용해 소스 얼굴 이미지를 잠재 경계 공간으로 인코딩한다.
• 소스 얼굴의 경계 표현을 타겟의 경계 기하학에 맞게 적응시키기 위해 타겟 전용 트랜스포머 네트워크를 도입한다.
• 변환 과정에서 구조적 정합성을 유지하기 위해 PCA 임bedded 경계 공간에서 사이클 일관성 손실을 적용한다.
• 현실감을 향상시키기 위해 적대적 손실을 사용하고, 정확한 얼굴 윤곽 일치를 유지하기 위해 형태 손실을 적용한다.
• 타겟 전용 디코더 네트워크를 사용해 적응된 경계 표현을 사진 같은 질감의 타겟 얼굴로 복원한다.
• 쌍방향 소스-타겟 영상과 대규모 얼굴 정렬 데이터셋을 활용해 경계 데이터에 대한 지도하에 전체 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 경계 기반 잠재공간은 얼굴 정체성과 표정, 운동을 효과적으로 분리하여 강건한 얼굴 재연을 가능하게 하는가?
• RQ2 트랜스포머 기반 경계 적응 네트워크는 다양한 정체성과 예측 불가능한 표정에 대해 얼마나 잘 일반화되는가?
• RQ3 경계 기반 전이 방식이 큰 자세 및 표정 변화를 다룰 때 직접 픽셀 공간 GAN보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 쌍방향 소스-타겟 데이터 없이도 다대일 재연 프레임워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 미세한 얼굴 운동 단위를 포착하는 데서 최신 기술인 Face2Face와 비교해 제안된 방법은 표정 정확도에서 얼마나 뛰어나게 성능을 내는가?

주요 결과

• ReenactGAN은 단일 GTX 1080 GPU에서 30 FPS로 실시간 추론을 구현하여 실용적 구현이 가능하다.
• qualitative 비교를 통해 ReenactGAN은 큰 얼굴 운동과 예측 불가능한 표정 조건에서 CycleGAN보다 뚜렷한 성능 향상을 보였다.
• AU17(턱 올리기)에 대해 소스와 재연된 얼굴 운동 단위(AU) 반응 간 상관계수(R²)가 92.5%를 기록하여 Face2Face(73.9%)를 뛰어넘고, 더 뛰어난 표정 정확도를 입증했다.
• Ablation 연구 결과, 사이클 손실과 형태 손실을 포함한 경계 트랜스포머가 특히 눈과 입 부위에서 뿌연 영역과 문양 오류를 줄이는 데 기여했다.
• 사이클 손실의 포함으로 경계 일치도와 구조적 일관성이 향상되었으며, 특히 얼굴 윤곽 정확도에서 가장 뚜렷한 향상이 관찰되었다.
• 제안된 방법은 새로운 정체성에 대해서도 잘 일반화되며, 타겟 전용 디코더와 트랜스포머가 타겟의 경계 데이터만으로 훈련되기 때문에 한 모델로 여러 소스를 재연할 수 있다.