[논문 리뷰] Face Translation between Images and Videos using Identity-aware CycleGAN

Zhiwu Huang, Bernhard Kratzwald외 3명|arXiv (Cornell University)|2017. 12. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 얼굴 정체성을 유지하는 것을 목표로, 이미지와 영상 간의 비쌍체적 얼굴 번역을 위한 아이덴티티 인식 CycleGAN 프레임워크를 제안한다. 워샤르스테인 GAN과 FaceNet 기반 정체성 검증기를 활용하여 정체성을 유지한다. 이 모델은 이미지에서 영상, 영상에서 이미지로의 번역 작업에서 모두 최고의 시각적 품질과 정체성 유지 성능을 달성한다.

ABSTRACT

This paper presents a new problem of unpaired face translation between images and videos, which can be applied to facial video prediction and enhancement. In this problem there exist two major technical challenges: 1) designing a robust translation model between static images and dynamic videos, and 2) preserving facial identity during image-video translation. To address such two problems, we generalize the state-of-the-art image-to-image translation network (Cycle-Consistent Adversarial Networks) to the image-to-video/video-to-image translation context by exploiting a image-video translation model and an identity preservation model. In particular, we apply the state-of-the-art Wasserstein GAN technique to the setting of image-video translation for better convergence, and we meanwhile introduce a face verificator to ensure the identity. Experiments on standard image/video face datasets demonstrate the effectiveness of the proposed model in both terms of qualitative and quantitative evaluations.

연구 동기 및 목표

• 정적 이미지와 동적 영상 간의 비쌍체적 얼굴 번역에 대한 연구 부족을 해결한다.
• 2D 이미지와 3D 영상 시퀀스 간의 높은 이질성에 도전한다.
• 도메인 이동과 제한된 쌍체 데이터에도 불구하고 双방향 번역 과정에서 얼굴 정체성을 유지한다.
• 이미지-영상 번역과 영상-이미지 번역을 모두 지원하는 통합 GAN 프레임워크를 개발한다.

제안 방법

• 이미지-영상 번역에 적합하도록 CycleGAN을 수정하기 위해 별도의 이미지-영상 번역 및 영상-이미지 번역 서브넷을 도입한다.
• 안정적인 훈련과 향상된 수렴을 위해 기울기 보정이 있는 워샤르스테인 GAN(WGAN-GP)을 사용한다.
• 미리 훈련된 FaceNet을 얼굴 검증기로 통합하여 깊이 임베딩 상의 정체성 손실을 통해 정체성 유지 조건을 강화한다.
• 이미지 및 영상 재구성 손실을 조합한 사이클 일致성 손실을 설계하여 구조적 정밀도를 확보한다.
• 대부분의 손실 항목을 포함하는 복합 손실을 사용하여 전체 모델을 훈련한다: 적대적 손실, 사이클 일치 손실, 정체성 유지 손실.
• 훈련 중 FaceNet의 가중치를 고정하여 정체성 감시의 안정성을 확보하면서 생성기의 기울기 흐름을 허용한다.

실험 결과

연구 질문

• RQ1 정체성 기반 GAN 모델은 비쌍체적 이미지와 영상 간의 얼굴 번역을 효과적으로 수행하면서도 정체성을 유지할 수 있는가?
• RQ2 얼굴 인식 네트워크를 통합함으로써 이미지-영상 번역에서 정체성 일관성이 어떻게 향상되는가?
• RQ3 이러한 이질적인 번역 환경에서 표준 GAN에 비해 WGAN-GP를 사용할 경우 어떤 영향을 미치는가?
• RQ4 다양한 손실 구성 요소(적대적, 사이클, 정체성)가 시각적 품질과 정체성 유지 간의 균형에 어떻게 기여하는가?
• RQ5 이 모델은 비면대칭 또는 빠르게 움직이는 얼굴에 대해 얼마나 잘 일반화되는가?

주요 결과

• 적대적, 사이클 일치, 정체성 유지 손실을 모두 조합한 Model3는 가장 낮은 FaceNet 검증 점수를 기록하여 뛰어난 정체성 유지 능력을 입증한다.
• 정체성 점수 곡선이 50K 훈련 반복 동안 안정적으로 감소함으로써 효과적이고 안정적인 정체성 학습이 이루어지고 있음을 확인한다.
• 시각적 결과에서 Model3는 기준 모델 대비 정체성을 더 잘 유지하는 것으로 나타났으며, 특히 가림된 입이나 비면 대칭 시점에서의 도전적인 케이스에서 뚜렷한 우수성을 보였다.
• 모델은 정적 이미지에서 현실적인 얼굴 시퀀스를 성공적으로 생성했고, 저품질 영상에서 고품질 이미지를 재구성하는 데에도 성공했다.
• 실패 사례는 주로 비면 대칭 또는 급속 이동하는 얼굴에서 발생하여 자세 및 운동에 대한 강건성에 한계가 있음을 시사한다.
• 정량적 결과는 시각적 품질이 약간 손상되더라도 FaceNet 기반 손실 덕분에 정체성 유지가 크게 향상됨을 확인한다.