[논문 리뷰] DeepFace: Face Generation using Deep Learning

Hardie Cate, Fahim Dalvi외 1명|arXiv (Cornell University)|2017. 01. 07.

Face recognition and analysis참고 문헌 10인용 수 6

한 줄 요약

이 논문은 얼굴 속성 분류를 위한 미세조정된 CNN과 특정 속성을 기반으로 현실적인 얼굴을 생성하기 위한 고유한 가우시안 믹스처 모델(cGMM)을 조합한 딥러닝 프레임워크를 제안한다. VGG-Face 활성화값에서의 특징 역전환을 활용하여, 생성 모델 아키텍처를 초월한 CNN 외부의 구조 없이도 일관된 얼굴을 생성하며, 분류 정확도는 82%에 도달하고, 목표 속성과 일치하는 타당성 있는 얼굴 이미지를 생성한다.

ABSTRACT

We use CNNs to build a system that both classifies images of faces based on a variety of different facial attributes and generates new faces given a set of desired facial characteristics. After introducing the problem and providing context in the first section, we discuss recent work related to image generation in Section 2. In Section 3, we describe the methods used to fine-tune our CNN and generate new images using a novel approach inspired by a Gaussian mixture model. In Section 4, we discuss our working dataset and describe our preprocessing steps and handling of facial attributes. Finally, in Sections 5, 6 and 7, we explain our experiments and results and conclude in the following section. Our classification system has 82\% test accuracy. Furthermore, our generation pipeline successfully creates well-formed faces.

연구 동기 및 목표

• 모발 색상, 민족성, 액세서리와 같은 특정 얼굴 속성을 기반으로 현실적인 얼굴을 생성하는 시스템을 개발하는 것.
• 73개의 얼굴 특징에 대해 높은 정확도를 달성하기 위해 미세조정된 VGG-Face CNN을 사용해 얼굴 속성을 분류하는 것.
• 새로운, 잘 구성된 얼굴을 랜덤 노이즈에서 cGMM 기반의 새로운 접근 방식을 통해 특징 활성화값을 역전환하여 생성하는 것.
• 생성적 적대 신경망 또는 변분 오토인코더를 요구하지 않는 CNN 기반 시스템이 타당한 얼굴을 생성할 수 있음을 보여주는 것.
• 시험 세트에 포함된 실제 이미지와의 유사도 측정 기준을 사용해 생성된 얼굴의 품질을 평가하는 것.

제안 방법

• 200만 개의 유명인 얼굴 데이터셋에서 사전 학습된 VGG-Face CNN을 미세조정하고, fc-7 레이어에 42개의 다중라벨 소프트맥스 헤드를 부착하여 73개의 얼굴 속성에 대해 학습한다.
• 과적합을 방지하기 위해 드롭아웃을 적용하고, 50 에포크 동안 학습률을 5e-6로 설정하여 미세조정 과정을 정규화한다.
• CNN 내 특징 활성화의 분포를 고유한 가우시안 믹스처 모델(cGMM)로 모델링하며, 각 속성의 활성화가 정규분포이며 상호 독립적이라고 가정한다.
• 랜덤 노이즈에서 시작하여 cGMM의 평균 추정치를 사용해 목표 속성 활성화값을 이미지 공간으로 역전환함으로써 특징 역전환을 수행한다.
• 계산 효율성을 높이기 위해 가우시안 평균의 가중치 합을 적용하여 이미지를 재구성하며, 생성 결과의 분산을 우선시하지 않는다.
• 시험 세트의 실제 이미지와의 유사도를 정량적으로 평가하기 위해 PicTriev 유사도 측정 기준을 사용한다.

실험 결과

연구 질문

• RQ1 미세조정된 CNN이 모발 색상, 민족성, 액세서리와 같은 다양한 얼굴 속성에 대해 높은 정확도로 분류할 수 있는가?
• RQ2 고유한 가우시안 믹스처 모델이 CNN 특징 활성화값을 효과적으로 역전환하여 랜덤 노이즈에서 일관되고 현실적인 얼굴을 생성할 수 있는가?
• RQ3 생성된 얼굴이 실제 얼굴과의 정성적 유사도 측면에서 목표 속성과 얼마나 잘 일치하는가?
• RQ4 cGMM 접근 방식이 특히 두드러지지 않는 속성에 대해 구분 가능한 얼굴 특징을 유지하는 데에 어떤 한계를 지닌다?
• RQ5 학습 데이터의 속성 다양성이 더 높았다면, 이 방법이 다양하고 평균 중심이 아닌 얼굴을 생성할 수 있는가?

주요 결과

• 분류 시스템은 평균 테스트 정확도 82%를 달성했으며, 대부분의 개별 속성은 0.8 이상, 많은 속성은 0.9를 초과했다.
• cGMM 기반의 생성 파이프라인은 랜덤 노이즈에서 잘 구성된 일관성 있는 얼굴을 성공적으로 생성하여 특징 역전환의 가능성을 입증했다.
• 생성된 얼굴은 실제 이미지와 중간 정도의 유사도를 보였으며, PicTriev 측정 기준에서 유사도 점수는 마이클 루크의 경우 22%에서 제레드 레토의 경우 52%까지 변동했다.
• 조명과 사진 유형과 같은 속성은 특징 공간에서 구분성이 낮기 때문에 분류 정확도가 낮게 나타났으며(약 55–60%), 이는 그 이유로 여겨진다.
• 생성된 얼굴들은 항상 학습 데이터 세트의 평균 이미지에 가까웠으며, 이는 가우시안 평균의 평균화로 인해 변동성이 제한된 것으로 보인다.
• 이 방법의 성능은 특징 활성화값이 상호 독립적이고 정규분포를 이룬다는 가정에 의해 제한되며, 이는 상관관계가 있는 속성들 간의 구분을 흐리게 할 수 있다.