[논문 리뷰] Towards Open-Set Identity Preserving Face Synthesis

Jianmin Bao, Dong Chen외 3명|arXiv (Cornell University)|2018. 03. 29.

Face recognition and analysis참고 문헌 37인용 수 33

한 줄 요약

이 논문은 GAN 기반의 개방세트 신원 유지 얼굴 합성 프레임워크를 제안하며, 입력 얼굴 이미지에서 신원과 특성(속성)을 분리하여, 한 사람의 신원 벡터와 다른 이미지의 특성 벡터를 조합함으로써 기존에 존재하지 않는 신원을 가진 현실적인 얼굴을 합성할 수 있도록 한다. 이 방법은 특성 레이블이 필요 없이 신원 유지 성능을 달성하고, 레이블이 없는 데이터를 활용하여 품질을 향상시켜, 얼굴 정방향화, 특성 변형, 적대적 예외 탐지 등에서 성공을 거두었다.

ABSTRACT

We propose a framework based on Generative Adversarial Networks to disentangle the identity and attributes of faces, such that we can conveniently recombine different identities and attributes for identity preserving face synthesis in open domains. Previous identity preserving face synthesis processes are largely confined to synthesizing faces with known identities that are already in the training dataset. To synthesize a face with identity outside the training dataset, our framework requires one input image of that subject to produce an identity vector, and any other input face image to extract an attribute vector capturing, e.g., pose, emotion, illumination, and even the background. We then recombine the identity vector and the attribute vector to synthesize a new face of the subject with the extracted attribute. Our proposed framework does not need to annotate the attributes of faces in any way. It is trained with an asymmetric loss function to better preserve the identity and stabilize the training process. It can also effectively leverage large amounts of unlabeled training face images to further improve the fidelity of the synthesized faces for subjects that are not presented in the labeled training face dataset. Our experiments demonstrate the efficacy of the proposed framework. We also present its usage in a much broader set of applications including face frontalization, face attribute morphing, and face adversarial example detection.

연구 동기 및 목표

• 학습 데이터에 포함되지 않은 주제에 대해 신원 유지 얼굴 합성을 가능하게 하여 이전 방법의 폐쇄세트 제한을 극복한다.
• 특성 레이블이 필요 없이 단일 얼굴 이미지에서 신원과 특성을 분리한다.
• 비대칭 손실 함수와 특성 벡터에 대한 KL 정규화를 통해 학습을 안정화하고 신원 유지 정밀도를 향상시킨다.
• 대량의 레이블이 없는 얼굴 이미지를 활용하여, 기존에 존재하지 않는 신원에 대해 합성 품질과 다양성을 향상시킨다.
• 얼굴 정방향화, 특성 변형, 적대적 예외 탐지와 같은 더 넓은 응용 분야로 프레임워크를 확장한다.

제안 방법

• 프레임워크는 다섯 개의 구성 요소로 이루어진 GAN을 사용한다: 신원 인코더 I, 특성 인코더 E, 생성자 G, 분류기 C, 그리고 판별기 D로, 종합적으로 훈련된다.
• 특성 추출은 특성 이미지에 대한 재구성 손실과 특성 벡터에 대한 KL 발산 손실을 통해 이루어지며, 이는 신원 유출을 방지하기 위함이다.
• 신원 표현은 신원 인코더 I에 대한 소프트맥스 손실을 통해 학습되며, 이는 신원 불변 특성 인코딩을 보장한다.
• 비대칭 손실 함수가 적용된다: D와 C에 대해 교차 엔트로피 손실을, G에 대해 쌍별 특성 매칭 손실을 적용하여 학습 안정성과 신원 유지 성능을 향상시킨다.
• 레이블이 없는 얼굴 이미지를 사용하여 훈련 데이터를 보강함으로써, 내부 및 외부 클래스 간 변동성을 증가시키고, 합성된 얼굴의 일반화 능력과 다양성을 향상시킨다.
• 두 개의 입력 이미지에서 유래한 신원 및 특성 벡터를 재조합하여, 주어진 신원을 유지하면서 원하는 특성을 가진 새로운 얼굴 이미지를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 특성 레이블이 필요 없이 단일 얼굴 이미지에서 GAN 기반 프레임워크가 신원과 특성을 분리할 수 있는가?
• RQ2 단일 참조 이미지만으로도 학습 데이터에 존재하지 않는 신원을 가진 현실적인 얼굴 이미지를 합성할 수 있는가?
• RQ3 비대칭 손실 함수를 사용할 경우 대칭적 대안 대비 신원 유지 성능과 학습 안정성이 향상되는가?
• RQ4 레이블이 없는 얼굴 데이터를 사용하면 기존에 존재하지 않는 신원에 대해 합성된 얼굴의 품질과 다양성이 향상되는가?
• RQ5 분리된 표현은 얼굴 정방향화, 특성 변형, 적대적 예외 탐지와 같은 후속 작업에 효과적으로 재사용될 수 있는가?

주요 결과

• 특성 거리 임계값을 0.4로 설정했을 때, 얼굴 인증 시스템에서 적대적 예외 탐지 정확도가 92.41%에 도달한다.
• 특성 변형 결과는 신원 벡터의 선형 보간을 통해 자세, 감정, 조명 변화에서 부드럽고 현실적인 전환을 보여준다.
• 모델은 얼굴 정방향화를 성공적으로 수행하여 프로파일 또는 비정면 이미지에서 고해상도 정면 뷰를 생성한다.
• 레이블이 없는 데이터의 사용은 내부 및 외부 클래스 간 변동성을 증가시켜, 특히 기존에 존재하지 않는 신원에 대해 더 다양하고 현실적인 얼굴 합성을 가능하게 한다.
• 신원 유지 합성은 개방세트 신원에 대해 가능하며, 새로운 신원이 추가될 경우 재학습이나 미세조정이 필요 없이 수행된다.
• LBP 특징과 선형 SVM을 사용하는 재구성 기반의 적대적 예외 탐지 방법은 추가적인 적대적 예외 학습 없이도 높은 정확도를 달성한다.