[논문 리뷰] DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition

Chaoyou Fu, Xiang Wu외 3명|arXiv (Cornell University)|2020. 09. 20.

Face recognition and analysis인용 수 8

한 줄 요약

이 논문은 소수의 쌍화된 데이터와 비쌍화된 가시 이미지 데이터로 훈련된 조건부 생성기와 함께 노이즈에서 대규모, 다양한, 정체성 일관성이 있는 이종 얼굴 이미지 쌍(예: NIR-VIS, 스케치-사진)을 합성하는 이중 변동형 생성 프레임워크인 DVG-Face를 제안한다. 대규모 가시 이미지에서 유도된 정체성 사전 지식과 새로운 손실를 통해 쌍화된 정체성 일관성을 강제함으로써, DVG-Face는 HFR를 위한 대비 학습을 가능하게 하여 7개의 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, BUAA-VisNir에서 FAR=0.1%일 때 VR에 최대 2.2% 향상을 기록한다.

ABSTRACT

Heterogeneous Face Recognition (HFR) refers to matching cross-domain faces and plays a crucial role in public security. Nevertheless, HFR is confronted with challenges from large domain discrepancy and insufficient heterogeneous data. In this paper, we formulate HFR as a dual generation problem, and tackle it via a novel Dual Variational Generation (DVG-Face) framework. Specifically, a dual variational generator is elaborately designed to learn the joint distribution of paired heterogeneous images. However, the small-scale paired heterogeneous training data may limit the identity diversity of sampling. In order to break through the limitation, we propose to integrate abundant identity information of large-scale visible data into the joint distribution. Furthermore, a pairwise identity preserving loss is imposed on the generated paired heterogeneous images to ensure their identity consistency. As a consequence, massive new diverse paired heterogeneous images with the same identity can be generated from noises. The identity consistency and identity diversity properties allow us to employ these generated images to train the HFR network via a contrastive learning mechanism, yielding both domain-invariant and discriminative embedding features. Concretely, the generated paired heterogeneous images are regarded as positive pairs, and the images obtained from different samplings are considered as negative pairs. Our method achieves superior performances over state-of-the-art methods on seven challenging databases belonging to five HFR tasks, including NIR-VIS, Sketch-Photo, Profile-Frontal Photo, Thermal-VIS, and ID-Camera. The related code will be released at https://github.com/BradyFU.

연구 동기 및 목표

• 이종 얼굴 인식(HFR)에서 큰 도메인 차이와 제한된 쌍화된 이종 얼굴 데이터 문제를 해결한다.
• 기존 HFR를 위한 조건부 이미지 간 변환 방법에서의 제한된 내부 클래스 다양성과 정체성 불일치 문제를 극복한다.
• 생성 과정에 대규모 비쌍화된 가시 얼굴 데이터를 통합하여 생성된 쌍화된 이종 이미지의 정체성 다양성을 향상시킨다.
• 생성된 쌍화된 이미지 간 정체성 일관성을 보장하기 위해 쌍화된 정체성 유지 손실를 도입한다.
• 생성된 이미지를 양성 및 음성 쌍으로 사용하여 대비 학습을 통해 HFR 네트워크의 효과적인 훈련을 가능하게 한다.

제안 방법

• 소수의 쌍화된 훈련 데이터를 사용하여 이종 얼굴 이미지 쌍(예: NIR 및 VIS)의 공동 분포를 학습하기 위해 이중 변동형 생성기를 설계한다.
• 생성 샘플의 정체성 다양성을 풍부하게 하기 위해 비쌍화된 대규모 가시 얼굴 데이터를 생성기 내에 통합한다.
• 생성된 쌍화된 이미지 간 정체성 일관성을 강제하기 위해 쌍화된 정체성 유지 손실를 도입한다. 이는 두 이미지가 동일한 정체성에 속함을 보장한다.
• 생성된 쌍화된 이미지를 양성 쌍으로 사용하고, 다른 노이즈 샘플에서 유도된 이미지를 음성 쌍으로 간주하여 대비 학습 목표를 설정한다.
• 생성된 데이터를 사용해 대비 학습을 통해 HFR 네트워크를 훈련시켜 도메인 불변성과 구분 능력 있는 임베딩 특징을 학습한다.
• 무조건적 생성 전략을 통해 노이즈에서부터 새로운, 다양한 쌍화된 이종 얼굴 이미지를 정체성 일관성 있게 샘플링할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 하면 데이터 부족 문제를 완화하기 위해 대규모, 다양한, 정체성 일관성이 있는 쌍화된 이종 얼굴 이미지를 생성할 수 있는가?
• RQ2 비쌍화된 가시 얼굴 데이터는 생성된 이종 얼굴 쌍의 정체성 다양성 향상에 어떤 역할을 하는가?
• RQ3 생성된 쌍화된 이미지 간 정체성 일관성을 강제하면 HFR 성능에 어떤 영향을 미치는가?
• RQ4 생성된 쌍화된 이미지를 양성 쌍으로 사용한 대비 학습이 HFR 모델의 일반화 능력과 정확도를 크게 향상시킬 수 있는가?
• RQ5 제안된 DVG-Face 프레임워크는 다양한 HFR 벤치마크에서 기존의 조건부 이미지 간 변환 및 대비 학습 방법을 초월하는가?

주요 결과

• IIIT-D 스케치 뷰드 데이터베이스에서 DVG-Face는 랭크-1 정확도 97.21%를 기록하여 이전 최신 기술인 RCN보다 6.87%p 높다.
• BUAA-VisNir 데이터베이스에서 DVG-Face는 FAR=0.1%일 때 VR 99.1%를 달성하여 다음으로 좋은 방법(PACH)보다 5.6%p 높고, DVR보다 2.2%p 높다.
• Tufts 얼굴 데이터베이스에서 DVG-Face는 랭크-1 정확도를 DVG의 56.1%에서 75.7%로 향상시키고, FAR=0.1%일 때 VR을 17.1%에서 36.5%로 향상시켰다.
• ROC 분석 결과, BUAA-VisNir에서 DVG-Face는 DVR보다 TPR@FPR=10^-5일 때 5.4%p 높은 성능을 보이며 낮은 거짓 경고율에서 뛰어난 성능을 입증했다.
• DVG-Face는 NIR-VIS, 스케치-사진, 프로파일-프론탈 사진, 열화상-VIS, ID-카메라 등 다섯 가지 HFR 작업 전반에서 일관되게 최신 기술 성능을 달성했다.
• 비쌍화된 가시 데이터 통합은 정체성 다양성을 크게 향상시켜 노이즈에서 새로운, 현실적이며 정체성 일관성이 있는 쌍화된 이미지를 생성할 수 있도록 했다.