[논문 리뷰] CycleGAN Face-off

Xiaohan Jin, Qi Ye외 1명|arXiv (Cornell University)|2017. 12. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 14

한 줄 요약

이 논문은 쌍화되지 않은 영상 프레임만을 사용하여 두 개인 간의 비지도 성격의 표정 및 특징 전이를 위한 CycleGAN의 개선을 제안한다. 적대적 훈련을 개선하여 얼굴 세부 정보, 머리 자세 변화 및 시간적 일관성을 더 잘 포착함으로써, 쌍화된 데이터가 없어도 더 안정적이고 현실적인 얼굴 변환 영상을 얻을 수 있다.

ABSTRACT

Face-off is an interesting case of style transfer where the facial expressions and attributes of one person could be fully transformed to another face. We are interested in the unsupervised training process which only requires two sequences of unaligned video frames from each person and learns what shared attributes to extract automatically. In this project, we explored various improvements for adversarial training (i.e. CycleGAN[Zhu et al., 2017]) to capture details in facial expressions and head poses and thus generate transformation videos of higher consistency and stability.

연구 동기 및 목표

• 쌍화된 훈련 데이터 없이 두 개인 간의 비지도 얼굴 스타일 전이 문제를 해결하기 위해.
• CycleGAN의 적대적 훈련을 개선하여 미세한 얼굴 표정과 머리 자세 변화를 더 잘 포착하기 위해.
• 쌍화되지 않은 영상 시퀀스에서 시간적으로 일관되고 안정적인 얼굴 변환 영상을 생성하기 위해.
• 명시적 지도 학습 없이도 공통적인 얼굴 특징과 신원 유지 특징을 자동으로 학습하기 위해.

제안 방법

• 생성자 및 판별기 아키텍처를 수정하여 얼굴 전용 특징에 중점을 두어 CycleGAN의 적대적 프레임워크를 얼굴 세부 정보 모델링에 더 잘 맞추기 위해.
• 공간적 주의 메커니즘을 통합한 개선된 사이클 일관성 손실을 도입하여 번역 과정에서 신원과 얼굴 구조를 유지하기 위해.
• 시간적 모델링을 위해 프레임 단위 일관성 정규화를 통합하여 영상의 부드러움과 운동 일관성을 향상시키기 위해.
• 동기화되거나 정렬된 프레임이 필요 없도록, 두 개인의 쌍화되지 않은 영상 시퀀스를 입력으로 사용하기 위해.
• 개인별 특징(예: 얼굴 윤곽, 피부 톤 등)을 유지하기 위해 신원 유지 손실을 활용하기 위해.
• 인스턴스 정규화와 잔차 블록을 사용한 적대적 훈련을 적용하여 훈련 안정성과 생성 품질을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 쌍화되지 않은 영상 시퀀스에서 고해상도이고 시간적으로 일관된 얼굴 변환 영상을 생성하기 위해 CycleGAN을 효과적으로 적응시킬 수 있는가?
• RQ2 아키텍처 및 손실 함수 수정이 비지도 환경에서 얼굴 표정과 머리 자세 전이에 어떻게 기여하는가?
• RQ3 제안된 방법이 개인 간 얼굴 변환 과정에서 신원과 얼굴 구조를 얼마나 잘 유지하는가?
• RQ4 시간적 일관성 정규화가 영상 안정성과 시각적 품질 향상에 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 표준 CycleGAN에 비해 더 현실적이고 안정적인 얼굴 변환 영상을 달성하였으며, 특히 얼굴 세부 정보와 머리 자세 변화를 잘 유지하는 데 유의미한 개선을 보였다.
• 시간적 일관성 정규화가 생성된 영상 시퀀스에서 깜빡임과 운동 아티팩트를 크게 감소시켰다.
• 쌍화된 훈련 데이터 없이도 모델이 개인 간 얼굴 표정과 특징을 성공적으로 전이하였다.
• 신원 유지 손실이 얼굴 윤곽과 피부 톤과 같은 개인별 특징을 번역 과정 전반에 걸쳐 잘 유지하는 데 기여하였다.