[논문 리뷰] Controllable Descendant Face Synthesis

Yong Zhang, Le Li외 4명|arXiv (Cornell University)|2020. 02. 26.

Face recognition and analysis참고 문헌 43인용 수 5

한 줄 요약

이 논문은 두 부모에서 한 자식으로의 유전자 관계를 모델링하기 위해 유전자 모듈을 사용한 새로운 생성 프레임워크를 제안한다. 이 모듈은 얼굴 구성 요소의 유사성을 제어하고, 연령 및 성별 제어를 위한 속성 향상 모듈을 포함한다. 이 방법은 학습 중에 참조 자식 얼굴가 없더라도 이미지 품질, 유전자 확인 정확도(61.88%), 사용자 연구 결과에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Kinship face synthesis is an interesting topic raised to answer questions like "what will your future children look like?". Published approaches to this topic are limited. Most of the existing methods train models for one-versus-one kin relation, which only consider one parent face and one child face by directly using an auto-encoder without any explicit control over the resemblance of the synthesized face to the parent face. In this paper, we propose a novel method for controllable descendant face synthesis, which models two-versus-one kin relation between two parent faces and one child face. Our model consists of an inheritance module and an attribute enhancement module, where the former is designed for accurate control over the resemblance between the synthesized face and parent faces, and the latter is designed for control over age and gender. As there is no large scale database with father-mother-child kinship annotation, we propose an effective strategy to train the model without using the ground truth descendant faces. No carefully designed image pairs are required for learning except only age and gender labels of training faces. We conduct comprehensive experimental evaluations on three public benchmark databases, which demonstrates encouraging results.

연구 동기 및 목표

• 기존의 한 부모에서 한 자식으로의 유전자 얼굴 합성 방법이 유사성, 연령, 성별 제어에 한계를 보이는 문제를 해결하기 위해.
• 두 부모 얼굴과 한 자식 얼굴 간의 이중 대 일 유전자 관계를 모델링하여 상호 보완적인 유전 정보를 포착하기 위해.
• 대규모 아버지-어머니-자식 삼중체 데이터셋의 부족을 보완하기 위해 저품질 합성 얼굴과 구성 요소 교환 전략을 사용한 데이터 증강 전략을 제안하기 위해.
• 합성된 자식 얼굴에서 얼굴 구성 요소의 유전, 연령, 성별에 대해 명시적이고 분리된 제어를 가능하게 하기 위해.
• 기준 데이터베이스에서 정성적, 정량적, 사용자 연구 분석을 통해 방법의 평가를 수행하기 위해.

제안 방법

• 이 프레임워크는 두 개의 엔드 투 엔드 학습 가능한 모듈로 구성된다: 제어 벡터를 사용해 부모 얼굴의 얼굴 구성 요소 유사성을 제어하는 유전자 모듈(왼쪽 눈/눈썹, 오른쪽 눈/눈썹, 코, 입, 프로파일 각각 5비트 이진값으로 구성).
• 속성 향상 모듈은 연령 단계(0–5세, 6–15세, 16–45세, >45세)와 성별 레이블을 조건으로 하여 연령과 성별을 제어한다.
• 저품질 합성 얼굴을 생성하기 위해 구성 요소 교환 전략을 사용하여 데이터 증강을 수행하며, 실제 자식 얼굴 레이블의 부족을 보완한다.
• 학습 시 참조 자식 얼굴가 필요 없이 부모 얼굴의 연령 및 성별 레이블만으로 모델을 훈련시킨다.
• 유전자 모듈은 각 부모 얼굴 쌍이 유일한 자식 얼굴로 매핑되도록 구성 요소 유전을 명시함으로써 한 쌍의 부모가 여러 자식을 낳을 수 있는 모호성을 완화한다.
• 유전자 모듈과 속성 모듈을 동시에 최적화할 수 있도록 생성 적대 신경망(GANs)을 사용해 모델을 공동으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 두 부모에서 한 자식으로의 유전자 관계를 모델링함으로써, 한 부모에서 한 자식으로의 관계보다 더 현실적인 자식 얼굴을 효과적으로 합성할 수 있는가?
• RQ2 참조 자식 얼굴 데이터에 의존하지 않고도 합성된 얼굴에서 얼굴 구성 요소의 유전, 연령, 성별에 대해 명시적 제어를 달성할 수 있는가?
• RQ3 KPFE 및 KinshipGAN과 같은 기존의 한 부모 기반 합성 방법과 비교해 본다면, 제안된 방법은 이미지 품질과 유전자 충실도 측면에서 어떻게 성능을 내는가?
• RQ4 얼굴 확인 모델에서 합성된 얼굴가 부모 얼굴과 얼마나 잘 구별되는가?
• RQ5 사용자들이 합성된 얼굴에서 얼굴 구성 요소의 유전 정확도, 연령 추정, 성별 인식 정확도를 얼마나 잘 인지하는가?

주요 결과

• 제안된 방법은 TSKinFace 데이터셋에서 61.88%의 유전자 확인 정확도를 달성하여 KPFE(42.97%) 및 KinshipGAN(24.69%)를 크게 앞서며 강력한 유전자 충실도를 입증한다.
• 사용자 연구에서 참가자 97.2%가 얼굴 구성 요소가 어느 부모에서 유전되었는지 정확히 식별했으며, 이는 높은 수준의 유전적 유사성 포착 능력을 시사한다.
• 4개의 연령 단계에서의 연령 순서 정확도가 91.6%로 나타나 연령 진행 제어가 효과적으로 작동함을 보였다.
• 성별 인식 정확도는 88.8%로, 합성된 얼굴에서 성별 속성이 정확히 유지됨을 확인했다.
• 얼굴 확인 모델(VGG-Face, Microsoft, Amazon)은 합성된 얼굴와 부모 얼굴를 구별하는 데 낮은 정확도(9.0–22.0%)를 보였으며, 이는 생성된 얼굴가 부모와는 다를 뿐 아니라 현실적인 모습을 띠고 있음을 시사한다.
• 정성적 결과는 기존의 경쟁 방법보다 이미지 품질 향상, 프로파일 및 얼굴 구성 요소의 다양성 증가, 참조값에 대한 더 나은 유사도를 보였다.