[논문 리뷰] Dual Variational Generation for Low-Shot Heterogeneous Face Recognition

Chaoyou Fu, Xiang Wu외 3명|arXiv (Cornell University)|2019. 03. 25.

Face recognition and analysis참고 문헌 39인용 수 8

한 줄 요약

이 논문은 노이즈에서 이방성 얼굴 이미지(예: NIR에서 VIS로의 변환)를 다양하고 신원 일관성 있는 쌍으로 생성하는 새로운 프레임워크인 이중 변분 생성(Dual Variational Generation, DVG)을 제안한다. 이중 변분 오토에인코드르를 사용하여 잠재 공간의 분포를 정렬하고 쌍별 신원 보존을 강제함으로써 도메인 갭을 크게 줄이고, 저샷 이방성 얼굴 인식 성능을 향상시킨다. 네 가지 벤치마크에서 최신 기술(SOTA) 성능을 달성하였으며, LightCNN-29를 사용하여 CASIA NIR-VIS 2.0에서 99.8%의 랭크-1 정확도를 기록하였다.

ABSTRACT

Heterogeneous Face Recognition (HFR) is a challenging issue because of the large domain discrepancy and a lack of heterogeneous data. This paper considers HFR as a dual generation problem, and proposes a novel Dual Variational Generation (DVG) framework. It generates large-scale new paired heterogeneous images with the same identity from noise, for the sake of reducing the domain gap of HFR. Specifically, we first introduce a dual variational autoencoder to represent a joint distribution of paired heterogeneous images. Then, in order to ensure the identity consistency of the generated paired heterogeneous images, we impose a distribution alignment in the latent space and a pairwise identity preserving in the image space. Moreover, the HFR network reduces the domain discrepancy by constraining the pairwise feature distances between the generated paired heterogeneous images. Extensive experiments on four HFR databases show that our method can significantly improve state-of-the-art results. The related code is available at https://github.com/BradyFU/DVG.

연구 동기 및 목표

• 제한된 쌍화된 훈련 데이터와 모odal 간 큰 도메인 갭으로 인해 저샷 이방성 얼굴 인식(HFR)에 도전하는 문제를 해결한다.
• 조건부 이미지 간 전환 방법의 한계를 극복한다. 이는 생성된 샘플에서 내부 클래스 다양성이 낮고 신원 일관성이 부족하기 때문이다.
• 노이즈에서 대규모의 신원 보존 쌍화된 이방성 이미지를 동시에 생성하는 조건부 없는 이중 생성 프레임워크를 개발한다.
• 생성된 이미지 쌍 간의 쌍별 특징 거리 제약을 통해 HFR에서 도메인 불일치를 줄인다.
• HFR를 이중 생성 문제로 새롭게 바라보며, 풍부한 다양성과 신원 일관성을 갖춘 데이터 증강을 가능하게 한다.

제안 방법

• 공유된 잠재 공간에서 이방성 얼굴 이미지 쌍(예: NIR 및 VIS)의 공동 분포를 모델링하기 위해 이중 변분 오토에인코드르(DVAE)를 제안한다.
• 쌍화된 이미지의 잠재 분포 간의 KL 발산을 최소화하여 잠재 공간 내에서 분포 정렬을 강제한다.
• 생성된 이미지 쌍이 동일한 신원을 유지하도록 이미지 공간에서 쌍별 신원 보존 손실을 적용한다.
• 표준 정규분포에서 노이즈를 샘플링하고 이를 동시에 두 모odal로 복사하여 새로운 쌍화된 이미지를 생성한다.
• 생성된 쌍화된 이미지를 사용하여 쌍별 특징 거리 제약을 통해 HFR 네트워크를 훈련시켜 도메인 불일치를 줄인다.
• 사전 훈련된 인식 백본(예: LightCNN)과 DVG 프레임워크를 통합하여 생성과 인식을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 노이즈에서 조건부 없는 이중 이미지 생성이 HFR 데이터 증강에 적합한 다양하고 신원 일관성이 있는 쌍화된 이방성 얼굴 이미지를 생성할 수 있는가?
• RQ2 잠재 공간의 분포 정렬과 쌍별 신원 보존을 강제하면 저샷 HFR 환경에서 인식 일반화 성능이 향상되는가?
• RQ3 제안된 DVG 프레임워크가 기존의 조건부 이미지 간 전환 방법보다 내부 클래스 다양성과 신원 일관성 측면에서 우수한가?
• RQ4 제한된 훈련 데이터로 인해 이방성 얼굴 모달 간(예: NIR, VIS, 스케치) 도메인 불일치를 DVG가 얼마나 효과적으로 줄일 수 있는가?
• RQ5 DVG는 표준 NIR-VIS 및 스케치-사진 작업 외의 다른 저샷 인식 시나리오로 일반화 가능한가?

주요 결과

• CASIA NIR-VIS 2.0 데이터베이스에서 DVG는 LightCNN-29를 사용해 랭크-1 정확도 99.8%와 FAR=0.1%일 때 VR 99.8%를 달성하였으며, 베이스라인인 LightCNN-29(99.2% 및 98.8%) 및 최신 기술 방법을 크게 앞서며 성능을 뛰어넘었다.
• Oulu-CASIA NIR-VIS 데이터베이스에서 DVG는 기존 최신 기술의 84.9%에서 92.9%로 FAR=0.1%일 때 VR을 향상시켜 저샷 설정에서 강력한 성능을 보였다.
• IIIT-D Viewed Sketch 데이터베이스에서 DVG는 랭크-1 정확도 96.99%와 FAR=1%일 때 VR 97.86%를 기록하여 RCN 및 MC-CNN를 크게 앞섰다.
• NJU-ID 데이터베이스에서 DVG는 베이스라인인 LightCNN-29 대비 랭크-1 정확도 5.5% 향상 및 FAR=1%일 때 VR 6.2% 향상되었다.
• Multi-PIE 데이터베이스에서 DVG는 ±90° 자세일 경우 랭크-1 정확도 18.5% 향상 및 ±75° 자세일 경우 4.3% 향상되어 자세 변화에 대한 강력한 내성성을 보였다.
• 정성적 결과에서는 DVG가 다양한 자세와 표정을 가진 다양하고 쌍화된 이미지를 생성하는 반면, 조건부 방법은 입력 속성을 유지하는 경향이 있었다.