[논문 리뷰] What Will Your Child Look Like? DNA-Net: Age and Gender Aware Kin Face Synthesizer

Pengyu Gao, Siyu Xia외 5명|arXiv (Cornell University)|2019. 11. 16.

Face recognition and analysis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 연령 및 성별 조건에 맞는 특징 매핑과 무작위 유전자 조합을 통해 유전적 유산을 시뮬레이션함으로써 양육자 이미지에서 실제 어린이 얼굴을 합성하는 이중 단계 생성 모델인 DNA-Net을 제안한다. 이 방법은 높은 지각적 현실감을 달성하였으며, 인간 평가자 중 60.29%가 생성된 얼굴을 실제 어린이로 잘못 식별했으며, 인간 지각 테스트에서 실제 어린이 이미지보다 뛰어난 성능을 보였다.

ABSTRACT

Visual kinship recognition aims to identify blood relatives from facial images. Its practical application-- like in law-enforcement, video surveillance, automatic family album management, and more-- has motivated many researchers to put forth effort on the topic as of recent. In this paper, we focus on a new view of visual kinship technology: kin-based face generation. Specifically, we propose a two-stage kin-face generation model to predict the appearance of a child given a pair of parents. The first stage includes a deep generative adversarial autoencoder conditioned on ages and genders to map between facial appearance and high-level features. The second stage is our proposed DNA-Net, which serves as a transformation between the deep and genetic features based on a random selection process to fuse genes of a parent pair to form the genes of a child. We demonstrate the effectiveness of the proposed method quantitatively and qualitatively: quantitatively, pre-trained models and human subjects perform kinship verification on the generated images of children; qualitatively, we show photo-realistic face images of children that closely resemble the given pair of parents. In the end, experiments validate that the proposed model synthesizes convincing kin-faces using both subjective and objective standards.

연구 동기 및 목표

• 기존의 한 부모에 의존하는 유사성 생성 방법의 한계를 보완하기 위해, 양쪽 부모로부터의 유전적 유산을 모델링함으로써.
• 딥 러닝 프레임워크를 사용하여 부모의 유전자를 무작위 선택하고 조합하는 생물학적 과정인 유전자 재조합을 시뮬레이션함으로써.
• 양쪽 부모와 유사하고, 눈, 코, 입, 턱과 같은 유전적 얼굴 특징을 보여주는 사진 수준의 어린이 얼굴을 생성함으로써.
• 정량적 지표(예: 유사성 확인 정확도)와 정성적 인간 평가를 통해 모델의 효과성을 검증함으로써.
• 지점 기반 형태 분석을 통해 부모와 생성된/실제 어린이 간의 기하학적 유사성을 분석함으로써 얼굴 특징의 상속 가능성 탐색함으로써.

제안 방법

• 대규모 얼굴 데이터셋에서 조건부 적대적 autoencoder(CAAE)를 훈련하여 얼굴 이미지를 고수준 특징(연령, 성별)으로 매핑하고 재구성함으로써, 분리 가능한 표현 학습을 가능하게 함.
• DNA-Net은 두 부모의 인코딩된 특징을 입력으로 받아, 자식 전용의 유전자 코드를 시뮬레이션하는 새로운 변환 모듈로 도입됨.
• 모델는 이중 단계 훈련 과정을 사용함: 첫 번째 단계에서는 CAAE가 이미지-특징 및 특징-이미지 번역을 학습하고, 두 번째 단계에서는 DNA-Net이 유전적 특징의 확률적 선택 과정을 통해 부모 특징을 자식 특징으로 매핑함.
• 유전자 표현은 멘델 유전을 모방하는 확률적 선택 과정을 통해 부모 특징을 조합하는 잠재 벡터로 모델링됨.
• 생성자 네트워크를 사용하여 자식의 유전자 코드를 얼굴 이미지로 디코딩함으로써 얼굴 생성을 수행하며, 현실감을 향상시키기 위해 적대적 훈련을 사용함.
• 모델는 사전 훈련된 CNN을 사용한 자동 유사성 확인 및 실제 어린이 얼굴 대비 생성된 어린이 얼굴 인식에 대한 인간 평가를 통해 평가됨.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델이 두 부모로부터 자식 얼굴을 합성하기 위해 생물학적 유전 과정을 시뮬레이션할 수 있는가?
• RQ2 생성된 자식 얼굴은 실제 어린이와 비교해 부모의 얼굴 구조와 외형을 얼마나 잘 유사하게 반영하는가?
• RQ3 지점 기반 형태 유사성으로 측정했을 때, 생성된 얼굴이 부모로부터 주요 얼굴 특징(예: 입, 코, 턱 모양)을 얼마나 잘 상속하는가?
• RQ4 인간 관찰자가 실제 어린이와 생성된 얼굴을 구분할 때의 성능은 어떠한가? 그리고 모델이 실제 이미지보다 지각적 현실감에서 뛰어난가?
• RQ5 모델는 다양한 연령과 성별 조합의 자식 얼굴을 생성하면서도 유사성 일관성을 유지할 수 있는가?

주요 결과

• 제안된 DNA-Net 모델은 생성된 자식 얼굴을 실제로 식별하는 데 인간 평가 정확도가 60.29%를 기록하였으며, 실제 어린이 이미지는 참가자의 39.71%만 정확하게 식별함으로써 실제 이미지보다 뛰어난 성능을 보였다.
• 자동 유사성 확인 테스트에서 모델는 생성된 얼굴에 대해 0.94의 확인 점수를 기록하여, 실제 어린이 얼굴보다 무작위 실제 얼굴과 더 가까운 것으로 나타났다.
• t-SNE 시각화 결과 생성된 자식 얼굴의 특징 분포가 양쪽 부모와 실제 어린이와 더 밀집되어 있으며, 강한 유사성 유사성을 보여주어 강력한 유사성 유사성을 나타냈다.
• 유전적 유사성 맵 분석 결과 생성된 자식 얼굴은 입 부위에서 높은 형태 유사성을 보였으며, 평균 코사인 거리가 0.82로, 유전적 발견과 일치함.
• 생성된 얼굴의 코와 턱 부위 역시 강력한 상속성을 보였으며, 각각 코사인 거리가 0.78과 0.80로 나타나 주요 얼굴 구조가 효과적으로 상속됨을 시사함.
• 모델는 다양한 연령과 성별 조합의 자식 얼굴을 성공적으로 생성하여, 조건부 입력을 통해 출력 특성을 제어할 수 있는 유연성을 입증함.