[논문 리뷰] Attribute-Guided Face Generation Using Conditional CycleGAN

Yongyi Lu, Yu‐Wing Tai외 1명|arXiv (Cornell University)|2017. 05. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 22

한 줄 요약

이 논문은 조건부 CycleGAN을 제안하여 속성 및 정체성 지도 하에 얼굴 생성을 가능하게 하며, 사용자가 지정한 속성(예: 성별, 헤어 컬러)이나 정체성 특징을 갖춘 저해상도 입력에서 고해상도 얼굴 합성을 실현한다. 조건부 벡터와 얼굴 인식 네트워크를 통합함으로써, 쌍이 없는 훈련 데이터를 사용하여도 사진처럼 생생하고 정체성을 유지하는 결과를 초해상도, 얼굴 교체, 정면화 작업에서 달성한다.

ABSTRACT

We are interested in attribute-guided face generation: given a low-res face input image, an attribute vector that can be extracted from a high-res image (attribute image), our new method generates a high-res face image for the low-res input that satisfies the given attributes. To address this problem, we condition the CycleGAN and propose conditional CycleGAN, which is designed to 1) handle unpaired training data because the training low/high-res and high-res attribute images may not necessarily align with each other, and to 2) allow easy control of the appearance of the generated face via the input attributes. We demonstrate impressive results on the attribute-guided conditional CycleGAN, which can synthesize realistic face images with appearance easily controlled by user-supplied attributes (e.g., gender, makeup, hair color, eyeglasses). Using the attribute image as identity to produce the corresponding conditional vector and by incorporating a face verification network, the attribute-guided network becomes the identity-guided conditional CycleGAN which produces impressive and interesting results on identity transfer. We demonstrate three applications on identity-guided conditional CycleGAN: identity-preserving face superresolution, face swapping, and frontal face generation, which consistently show the advantage of our new method.

연구 동기 및 목표

• 쌍이 없는 훈련 데이터를 사용하여 저해상도 입력에서 고품질의 속성 제어가 가능한 얼굴 생성을 가능하게 한다.
• 쌍이 없는 데이터에 의존하지 않고 초해상도 및 얼굴 교체 작업에서 정체성 유지 문제를 해결한다.
• 사용자가 제공한 속성 또는 정체성 임bedding을 통해 영향을 받는 유연한 제어를 지원하는 조건부 CycleGAN 프레임워크를 개발한다.
• 자세 변화 및 부분적 가림 상황에서도 정체성 전달 작업에서 강건한 성능을 보여준다.
• 사람의 간섭 없이 측면 시야 입력에서부터 정면 얼굴 생성을 종단 간 전처리 없이 실현한다.

제안 방법

• 생성자 및 판별자 네트워크에 조건부 특징 벡터를 입력으로 포함시키기 위해 CycleGAN의 adversarial loss를 수정한다.
• 정체성 특징 벡터를 추출하기 위해 사전 학습된 Light-CNN 네트워크를 사용하여 정체성 지도 생성의 조건부 입력으로 활용한다.
• 훈련 중 정체성 일관성을 강제하기 위해 보조 판별자로 얼굴 인식 네트워크를 통합한다.
• 쌍이 없는 훈련 샘플이 필요 없이 도메인 간 이항 사상(비가역 매핑)을 학습하기 위해 사이클 일관성 손실을 활용한다.
• 세 가지 응용 분야에 모델을 적용한다: 정체성 유지 초해상도, 얼굴 교체, 정면 얼굴 생성.
• 조건부 벡터의 선형 보간을 통해 얼굴 속성 또는 정체성 간의 부드러운 전이를 생성한다.

실험 결과

연구 질문

• RQ1 조건부 CycleGAN 프레임워크는 저해상도 입력에서 정확한 속성 제어를 통해 고해상도 얼굴 이미지를 생성할 수 있으며, 정체성을 유지할 수 있는가?
• RQ2 모델은 다양한 자세에서나 부분적 가림 상황에서도 얼굴 정체성을 효과적으로 전달할 수 있는가?
• RQ3 보조 판별자에 얼굴 인식 손실를 통합함으로써 얼굴 교체 결과의 사진적 사실감과 정체성 충실도가 향상되는가?
• RQ4 사람의 간섭 없이 종단 간 전처리 없이 측면 시야 입력에서 현실적인 정면 얼굴을 생성할 수 있는가?
• RQ5 조건부 벡터의 보간을 통해 예상치 못한 속성 또는 정체성 조합에 대해 모델이 얼마나 잘 일반화되는가?

주요 결과

• 정체성 유지 초해상도 작업에서 사진처럼 생생한 얼굴 생성 결과를 달성하였으며, 저해상도 이미지가 다른 사람의 것이더라도 입력의 정체성을 유지한다.
• 얼굴 교체 결과는 높은 현실감과 눈, 눈썹, 헤어 등의 얼굴 특징 정확도를 보이며, 수동적인 랜드마크 검출이나 블렌딩이 필요하지 않다.
• 보조 판별자에 얼굴 인식 손실를 통합함으로써 특히 눈썹과 눈 모양과 같은 미세한 특징을 정교하게 다듬는 데서 인지적으로 열등한 결과를 낼 수 있다.
• 조건부 벡터의 선형 보간은 얼굴 속성 또는 정체성 간에 시각적으로 타당하고 부드러운 전이를 생성하여, 기억 초월한 효과적인 일반화를 나타낸다.
• 사람의 간섭 없이 측면 시야 입력에서 정면 얼굴 생성을 종단 간 전처리 없이 실현하였으며, 왜곡 및 블렌딩에 의존하는 전통적 방법보다 뛰어난 성능을 보였다.
• 자세 변화 및 부분적 가림 상황에서도 강건하게 작동하여 도전적인 조건에서도 강력한 정체성 유지 능력을 보였다.