[논문 리뷰] Semi-Latent GAN: Learning to generate and modify facial images from attributes

Weidong Yin, Yanwei Fu외 2명|arXiv (Cornell University)|2017. 04. 07.

Face recognition and analysis참고 문헌 44인용 수 36

한 줄 요약

이 논문은 반-잠재 공간에서 사용자가 정의한 특성과 잠재적 특성을 동시에 학습함으로써 고품질의 얼굴 이미지 생성과 신원 유지 특성 수정을 가능하게 하는 새로운 생성적 적대적 네트워크인 Semi-Latent GAN(SL-GAN)을 제안한다. 생성된 이미지와 특성 간의 상호정보를 최대화하기 위해 인식 네트워크를 도입함으로써, SL-GAN은 CelebA 및 CASIA-WebFace 데이터셋에서 시각적 품질, 특성 부각도, 신원 유지 능력 측면에서 최신 기법들을 능가한다.

ABSTRACT

Generating and manipulating human facial images using high-level attributal controls are important and interesting problems. The models proposed in previous work can solve one of these two problems (generation or manipulation), but not both coherently. This paper proposes a novel model that learns how to both generate and modify the facial image from high-level semantic attributes. Our key idea is to formulate a Semi-Latent Facial Attribute Space (SL-FAS) to systematically learn relationship between user-defined and latent attributes, as well as between those attributes and RGB imagery. As part of this newly formulated space, we propose a new model --- SL-GAN which is a specific form of Generative Adversarial Network. Finally, we present an iterative training algorithm for SL-GAN. The experiments on recent CelebA and CASIA-WebFace datasets validate the effectiveness of our proposed framework. We will also make data, pre-trained models and code available.

연구 동기 및 목표

• 기존 모델이 얼굴 이미지를 생성하거나 수정하는 데서만 기능할 뿐, 둘을 일관적으로 수행하지 못하는 격차를 해결하기 위해.
• 사용자가 정의한 특성과 잠재적 특성을 함께 학습하여 해석 가능한 의미론적 특성과 압축된 데이터 기반 특징을 모두 포괄하는 공동 표현을 학습하기 위해.
• 생성된 이미지의 시각적 정밀도를 확보하면서도 특성 수정 시 신원 일관성을 유지하기 위해.
• 생성 및 수정 작업을 동시에 최적화할 수 있는 통합 학습 프레임워크를 개발하기 위해.

제안 방법

• 사용자가 정의한 특성과 데이터 기반 잠재 특성을 결합한 반-잠재 얼굴 특성 공간(SL-FAS)을 정의한다.
• 3단계 프레임워크인 인코더-디코더(이미지 재구성용), GAN(이미지 품질 향상용), 그리고 생성된 이미지와 특성 간의 상호정보를 최대화하는 인식 네트워크로 구성된 SL-GAN을 설계한다.
• 디코더 네트워크를 생성기로 활용하여 SL-FAS 내 특성 벡터에서 이미지를 합성한다.
• 생성기, 판별기, 인식 네트워크를 동시에 최적화하기 위한 반복적 학습 알고리즘을 도입한다.
• 생성된 이미지와 특성 벡터 간의 상호정보를 최대화함으로써 인식 네트워크를 활용해 분리된 표현을 학습한다.
• 생성 손실, 재구성 손실, 상호정보 최대화를 포함한 손실 함수를 사용해 CelebA 및 CASIA-WebFace에서 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 통합 딥 생성 모델이 고해상도 얼굴 이미지 생성과 신원 유지 특성 수정을 동시에 수행할 수 있는가?
• RQ2 사용자가 정의한 특성과 잠재적 특성을 반-잠재 공간에서 어떻게 함께 모델링할 수 있는가? 이는 분리도 및 제어 가능성 향상에 기여하는가?
• RQ3 생성된 이미지와 특성 벡터 간의 상호정보 최대화가 시각적 품질과 특성 정확도에 미치는 영향은 무엇인가?
• RQ4 기존 기법들과 비교할 때 제안된 SL-GAN은 특성 수정 정밀도와 신원 유지 능력 측면에서 어떤 성능을 보이는가?

주요 결과

• 사용자 연구에서 SL-GAN은 정확도 75.0%를 기록하여, icGAN(65.4%)과 attrib2img(30.0%)를 크게 앞서며 가장 높은 정확도를 확보했다.
• 사용자 연구 결과, SL-GAN은 특성 부각도 4.37, 이미지 품질 4.20, 신원 유사도 4.45를 기록했으며, 모든 지표에서 경쟁 기법들을 압도했다.
• 정성적 결과 분석에서 SL-GAN은 '붉은 뺨', '궁금한 눈썹', '눈 아래 부은 것'과 같은 세밀한 특성까지도 높은 시각적 정밀도로 성공적으로 수정하였다.
• attrib2img는 선명한 얼굴 특징을 유지하고도 털이 흐릿한 이미지를 생성하는 반면, SL-GAN은 더 선명한 털 세부 묘사를 구현하였다.
• 모델은 전반적인 특성, 즉 '남성', '웃는 얼굴'와 같은 전반적 특성과 '연한 피부', '벗어난 머리카락'과 같은 국소적 특성에 대해 잘 일반화되어 있다.
• 반복적 학습 알고리즘이 통합 프레임워크 내에서 생성, 수정, 신원 유지라는 상충되는 목표를 효과적으로 균형 잡는 데 기여하였다.